JP2011180251A - 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法 - Google Patents

Abstract

【課題】ユーザーの負担を最小限に抑さえつつ、撮影画像に写った特徴点と被投写面上での特徴点との対応関係を正確に求める。
【解決手段】本発明の補正情報算出装置６は、第１図形を含んだ第１測定用画像が投写されたときに被投写面上の第１図形を撮影した第１撮影画像の中の第１図形に対応付けられた位置を示す情報としてユーザーが入力した位置情報を取得する位置情報取得部６２と、位置情報が示す位置を基準として第１撮影画像の中の第１図形の位置を検出したときの検出結果と、第１測定用画像の元データ上の第１図形の位置に対する第２測定用画像の元データ上の第２図形の位置の位置関係と、を用いて、第２撮影画像の中の前記第２図形の位置を検出する第２図形位置検出部６５を備える。
【選択図】図３

Description

本発明は、補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法に関する。

従来から、画像表示装置の１つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。プロジェクターは、平面または曲面の被投写面に画像を表示する用途で使用される。また、複数のプロジェクターの各々から部分画像を投写させ、複数の部分画像の全体として１つの画像を表示させる用途で、プロジェクターが使用されることもある。近年、被投写面での画像の歪や、複数の部分画像の相対位置のずれを補正する画像補正方法が提案されている。

上記の画像補正方法では、例えば以下の処理を行う。まず、特徴点を含んだ測定用パターンをプロジェクターに投写させ、被投写面上の測定用パターンを撮影する。そして、測定用パターンを示す画像データ上での特徴点の位置と、測定用パターンを撮影した撮影画像の中の特徴点の位置との対応関係に基づいて、画素の位置の補正量を示す補正情報を求める。視聴者向けの画像（以下、コンテンツ画像という）を表示するときに、この画像を示す画像データを上記の補正情報に基づいて補正し、補正した画像データに基づいて画像を表示させる。

上記の処理を行う上で、特徴点の数や形状によっては、撮影画像に写った特徴点と投写した特徴点との対応関係を正確に特定することが難しくなることがある。対応関係の特定に失敗すると、処理のやり直しが必要になることや、極端な場合には処理を行うことができなくなることがある。このような不都合を解消する技術として、特許文献１に開示されている技術が挙げられる。特許文献１では、ユーザーに数個の特徴点の座標を指定させ、その数個の座標から残りの特徴点の座標を補完演算で予測している。

国際公開第０６／０２５１９１号パンフレット

特許文献１では、ユーザーが特徴点自体の座標を指定し、指定対象の特徴点を探索する作業がユーザーに委ねられているので、下記の不都合を生じるおそれがある。
多数の特徴点を含む測定用パターンを用いる場合や、特徴点を示す図形がいずれも同じである場合等には、指定対象の特徴点の探索に多大な手間や時間を要してしまい、ユーザーに多大な負担を強いることになる。また、ユーザーが指定対象の特徴点を誤認しやすくなり、処理のロバスト性が低下するおそれもある。

本発明は、上記の事情に鑑み成されたものであって、ユーザーの負担を最小限に抑さえつつ、撮影画像に写った特徴点と被投写面上での特徴点との対応関係を正確に求めることが可能な補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法を提供することを目的の１つとする。

本発明では、上記の目的を達成するために以下の手段を採用している。

本発明の補正情報算出装置は、第１図形を含んだ第１測定用画像がプロジェクターから被投写面に投写されたときに前記被投写面上の前記第１図形を撮影した第１撮影画像の中の前記第１図形に対応する位置を示す情報としてユーザーが入力した位置情報を取得する位置情報取得部と、前記第１図形とは形状と寸法の少なくとも一方が異なる第２図形を含んだ第２測定用画像が前記プロジェクターから前記被投写面に投写されたときに前記被投写面上の前記第２図形を撮影した第２撮影画像の中の前記第２図形の位置について、前記位置情報が示す位置を基準として前記第１撮影画像の中の前記第１図形の位置を検出したときの検出結果と、前記第１測定用画像の元データ上の前記第１図形の位置に対する前記第２測定用画像の元データ上の前記第２図形の位置の位置関係と、を用いて、前記第２撮影画像の中の前記第２図形の位置を検出する第２図形位置検出部と、前記第２図形位置検出部により検出された前記第２撮影画像の中の前記第２図形の位置と、前記第２測定用画像の元データ上の前記第２図形の位置とを比較して、前記被投写面上での画素の位置と、前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出する補正情報演算部と、を備えていることを特徴とする。

このようにすれば、ユーザーが入力した位置情報を用いて第１図形を検出するので、第１図形の検出の成功率が高くなり、第２図形の位置を正確に求めることができる。第２図形は、第１図形に対して形状と寸法の少なくとも一方が異なっており、ユーザーが第１図形を第２図形から区別しやすくなる。したがって、ユーザーによる第１図形の探索の手間を減らすことができ、ユーザーによる第１図形の誤認の発生を減らすことができる。よって、ユーザーの負担を最小限に抑さえつつ、撮影画像に写った特徴点と被投写面上での特徴点との対応関係を正確に求めることが可能になり、画像歪等を高精度に補正可能になる補正情報を少ない手間で取得可能になる。

前記第１撮影画像の中の前記第１図形の位置を検出する第１図形位置検出部を備え、第２図形位置検出部は、前記第１図形位置検出部が前記第１図形の検出に成功したときに、前記第１図形位置検出部による検出結果を用いて前記第２撮影画像の中の前記第２図形の位置を検出し、前記第１図形位置検出部が前記第１図形の検出に失敗したときに、前記位置情報を用いて検出された前記第１図形の位置を用いて前記第２撮影画像の中の前記第２図形の位置を検出するとよい。

このようにすれば、第１図形位置検出部が第１図形の位置の検出に成功した場合には、その検出結果を用いて第２図形位置検出部が第２図形を検出するので、第１図形位置検出部が第１図形の位置の検出に成功したときに、ユーザーによる位置情報の入力を省くことができる。したがって、ユーザーの負担を最小限に抑さえつつ、撮影画像に写った特徴点と被投写面上での特徴点との対応関係を正確に求めることが可能になる。

前記位置情報は、前記第１図形の内側の位置を示す第１の位置情報と、前記第１撮影画像の中の前記第１図形の位置を規定する特徴点の位置を示す第２の位置情報とを含み、前記位置情報取得部は、前記第１の位置情報を用いた前記第１図形の位置の検出が失敗したときに、前記第２の位置情報を取得し、前記第２図形位置検出部は、前記位置情報取得部が前記第２の位置情報を取得したときに、前記第２の位置情報が示す特徴点に規定される前記第１図形の位置を前記第１撮影画像の中の前記第１図形の位置として用いて、前記第２撮影画像の中の前記第２図形の位置を検出するとよい。

このようにすれば、ユーザーは第１図形の内側の位置を示す第１の位置情報を入力すればよいので、第１図形の検出の基準になる位置を簡便に指定することができ、ユーザーの負担を最小限に抑さえることができる。第１の位置情報が示す位置を基準とした第１撮影画像の中の第１図形の位置の検出に失敗したときに、第２図形位置検出部は、第２の位置情報が示す特徴点に規定される第１図形の位置を用いて第２図形を検出するので、第１図形の位置の検出の失敗に起因する処理の発散が回避される。

前記第１測定用画像が前記第２図形を含み、第２図形位置検出部は、前記第１撮影画像を前記第２撮影画像として用いて前記第２撮影画像の中の前記第２図形の位置を検出するとよい。

このようにすれば、第１測定用画像とは別に第２測定用画像を投写して撮影する場合よりも投写や撮影に要する手間や時間を減らすことができる。また、第１測定用画像の撮影と第２測定用画像の撮影との間に撮影装置等の位置ずれを生じる確率が低くなるので、撮影装置の位置ずれに起因する誤差を減らすことができる。

前記第１図形の寸法が前記第２図形の寸法よりも大きく、前記第１測定用画像に含まれる前記第２図形の数が前記第１測定用画像に含まれる前記第１図形の数よりも多いとよい。

このようにすれば、第１図形の寸法が第２図形の寸法よりも大きいので、ユーザーが第１図形を第２図形から区別しやすくなり、第１図形の検索に要するユーザーの負担を最小限に抑えることができる。第１測定用画像に含まれる第２図形の数が第１図形の数よりも多いので、第２撮影画像の中の第２図形の位置と、第１測定用画像の元データに規定された第２図形の位置との比較を多点にて行うことが可能になり、補正情報を高精度に求めることができる。

前記第１測定用画像において前記第１図形の色調が前記第２図形の色調と異なっており、前記第１図形の色調が前記第２図形の色調と区別されるように前記被投写面上の前記第１測定用画像を撮影した撮像画像を前記第１撮影画像として用いるとよい。

このようにすれば、被投写面上の第１図形の色調が第２図形の色調と異なるようになり、ユーザーが第１図形を第２図形から区別しやすくなるので、第１図形の検索に要するユーザーの負担を最小限に抑えることができる。また、第１撮影画像上で第１図形の色調と第２図形の色調が異なるので、第１図形を検出するときに第２図形の影響を加味しないように色の違いを利用したフィルタリングを施すことが可能になる。これにより、第１図形の検出の成功率を高めることができる。同様に、第２図形を検出するときに、第１図形の影響を加味しないようにフィルタリングすることが可能になり、第２図形の検出の成功率を高めることができる。

本発明の画像処理装置は、本発明に係る補正情報算出装置と、前記補正情報算出装置により算出された前記補正情報を参照して、補正後の前記画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、
を備えていることを特徴とする。

本発明の補正情報算出装置によれば、高精度の補正情報を少ない手間で取得可能であるので、本発明の画像処理装置は、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能なものになる。

本発明の画像表示システムは、本発明に係る画像処理装置と、記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、を備えていることを特徴とする。

本発明の画像処理装置によれば、補正情報を取得する上での手間省きつつ、部分画像の歪や相対位置のずれを高精度に補正可能になるので、本発明の画像表示システムは、利便性が高く、しかも高品質な画像を表示可能なものになる。

本発明の画像補正方法は、第１図形を含んだ第１測定用画像をプロジェクターから被投写面に投写するステップと、前記被投写面上の前記第１図形を撮影して第１撮影画像を取得するステップと、前記第１撮影画像の中の前記第１図形に対応する位置を示す情報としてユーザーが入力した位置情報を取得するステップと、前記第１図形とは形状と寸法の少なくとも一方が異なる第２図形を含んだ第２測定用画像を前記プロジェクターから前記被投写面に投写するステップと、前記被投写面上の前記第２図形を撮影して第２撮影画像を取得するステップと、前記第２撮影画像の中の前記第２図形の位置について、前記位置情報が示す位置を基準として前記第１撮影画像の中の前記第１図形の位置を検出するステップと、前記第１撮影画像の中の前記第１図形の位置の検出結果と、前記第１測定用画像の元データ上の前記第１図形の位置に対する前記第２測定用画像の元データ上の前記第２図形の位置の位置関係とを用いて、前記第２撮影画像の中の前記第２図形の位置を検出するステップと、前記第２撮影画像の中の前記第２図形の位置の検出結果と、前記第２測定用画像の元データ上の前記第２図形の位置とを比較して、前記被投写面上での画素の位置と、前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出するステップと、前記補正情報を参照して、補正後の前記画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、
を備えていることを特徴とする。

このようにすれば、ユーザーの負担を最小限に抑さえつつ、撮影画像に写った特徴点と被投写面上での特徴点との対応関係を正確に求めることが可能になり、補正情報を取得する上での手間を省きつつ、画像歪等を高精度に補正可能になる。

本発明の実施形態に係る画像表示システムを示す概略図である。 被投写面上の投写領域の位置関係を示す説明図である。 画像表示システムの構成を示す図である。 測定用パターンの一例を示す説明図である。 コンテンツ画像を表示するまでの処理フローを示す図である。 第１の位置情報の入力方法の一例を示す説明図である。 第２の位置情報の入力方法の一例を示す説明図である。 補正情報の算出方法の一例を示す説明図である。

以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。

図１は、本発明の一実施形態である画像表示システムの概念図、図２は被投写面に投写された画像と投写領域との関係を示す説明図である。

図１に示すように画像表示システム１は、複数のプロジェクター２、画像処理装置３、および撮影装置４を備えている。画像表示システム１は、例えば信号源８から入力された画像データが示すコンテンツ画像Ｐを複数のプロジェクター２で分担して、スクリーンや壁等の被投写面９に投写する。ここでは、複数のプロジェクター２として第１のプロジェクター２１、第２のプロジェクター２２、第３のプロジェクター２３、および第４のプロジェクター２４が設けられているとして説明する。本発明の適用範囲は、プロジェクターの数や配置に限定されない。例えば、平面状または曲面状の被投写面に１台のプロジェクターにより投写する場合にも本発明を適用可能である。なお、以下の説明では、複数のプロジェクターの各々から投写された画像を、「部分画像」と称することがある。また、以下の説明では、部分画像を示す画像データを「部分画像データ」と称することがある。

プロジェクター２は、供給された画像データ（ここでは部分画像データ）に基づいて画像（ここでは部分画像）を表示可能である。本発明の適用範囲は、プロジェクター２の構成に限定されない。例えば、プロジェクター２は、単板式のプロジェクターであってもよいし、三板式のプロジェクター等の複数の画像形成素子を含んだものであってもよい。また、プロジェクター２は、被投写面９に対して視聴者と同じ側から投写するフロント投写型のものであってもよいし、被投写面９を挟んで視聴者と反対側から投写するリア投写型のものであってもよい。

本実施形態の複数のプロジェクター２は、光源、画像形成素子、および投写光学系を有している。画像形成素子は、二次元的に配列された複数の画素を有するものである。画像形成素子としては、例えば透過型または反射型の液晶ライトバルブや、デジタルミラーデバイス（ＤＭＤ）等が挙げられる。各プロジェクターにおいて、光源から射出された光は、画像形成素子に入射する。画像形成素子は、このプロジェクターへ入力された部分画像データの画素ごとのデータ（以下、画素データという）に基づいて、複数の画素を互いに独立して制御する。画素に入射した光は、画素ごとに変調されて画素データに規定された光量の光になる。複数の画素により変調された光が全体として光学像（画像）になり、この光学像が投写光学系により被投写面９に投写される。ここでは、複数のプロジェクターで、画像形成素子の画素数および画素の配列が一致している。

各プロジェクターが被投写面９上に投写可能な領域である投写領域は、複数のプロジェクター２で異ならせて設定されている。図２に示すように、第１〜第４投写領域Ａ１〜Ａ４は、互いの周縁部が重なり合うように設定されており、全体として全体投写領域を構成している。すなわち、第１〜第４投写領域Ａ１〜Ａ４の各々は、隣接する他の投写領域と重畳された重畳領域Ａ５を含んでいる。

第１のプロジェクター２１の投写領域（第１投写領域Ａ１）は、第２のプロジェクター２２の投写領域（第２投写領域Ａ２）と被投写面９上の水平方向に並んでいる。この水平方向において、第１投写領域Ａ１の端部は、第２投写領域Ａ２の端部と重ね合わされている。第３のプロジェクター２３による投写領域（第３投写領域Ａ３）と、第４のプロジェクター２４による投写領域（第４投写領域Ａ４）との水平方向の位置関係については、第１、第２投写領域Ａ１、Ａ２の水平方向の位置関係と同様になっている。

第１投写領域Ａ１は、被投写面９上の水平方向と直交する垂直方向に第３投写領域Ａ３と並んでいる。この垂直方向において、第１投写領域Ａ１の端部（周縁部）は第３投写領域Ａ３の端部（周縁部）と重ね合わされている。第２投写領域Ａ２と第４投写領域Ａ４との垂直方向の位置関係については、第１、第３投写領域Ａ１、Ａ３の垂直方向の位置関係と同様になっている。

ところで、通常は全体投写領域Ａ０の外形が矩形にならない。これは、第１〜第４のプロジェクター２１〜２４の配置に起因して、第１〜第４投写領域Ａ１〜Ａ４の歪や相対位置のずれを生じるからである。ここでは、全体投写領域Ａ０に収まる略矩形の領域を実際に画像の投写に用いる領域（有効投写領域Ａ）としている。第１〜第４のプロジェクター２１〜２４は、各投写領域のうちで有効投写領域Ａに収まる領域に対して部分画像を投写するようになっている。

例えば、第１のプロジェクター２１から投写された光により、第１投写領域Ａ１のうちで有効投写領域Ａに収まる領域に、第１の部分画像Ｐ１が表示される。以下同様に、第２〜第４のプロジェクター２２〜２４により、第２〜第４の部分画像Ｐ２〜Ｐ４が表示される。第１〜第４の部分画像Ｐ１〜Ｐ４は、互いに端部を重ね合わされて被投写面９上に表示され、全体としてコンテンツ画像Ｐを構成する。

図１の説明に戻り、画像処理装置３は、コンテンツ画像Ｐを示す画像データを例えば信号源８から受け取る。画像処理装置３は、画像データに各種処理（後述する）を施すとともに、画像データに基づいて複数の部分画像データを生成する。各部分画像データは、第１〜第４の部分画像Ｐ１〜Ｐ４のいずれかを示すデータである。画像処理装置３は、第１〜第４のプロジェクター２１〜２４の各々に、各プロジェクターが担当する部分画像を示す部分画像データを供給する。第１〜第４のプロジェクター２１〜２４は、画像処理装置３から入力された部分画像データに基づいて、被投写面９上に第１〜第４の部分画像Ｐ１〜Ｐ４を投写する。

画像処理装置３は、上記の各種処理の１つとして、第１〜第４の部分画像Ｐ１〜Ｐ４の各々の画像歪を補正するとともに、第１〜第４の部分画像Ｐ１〜Ｐ４の相対位置のずれを補正する処理（以下、位置補正処理という）を行う。画像処理装置３は、画像表示システム１の設置時や、画像表示システム１の設置時から所定期間が経過したメンテナンス時等の適宜選択されるタイミングに、位置補正処理に用いる補正情報を算出する。

上記の画像歪の１例として、例えば被投写面９に対する第１〜第４のプロジェクター２１〜２４の各々の投写方向、すなわち垂直方向の仰角や俯角、水平方向の煽り角等に応じて発生する画像歪（例えばキーストン歪）が挙げられる。画像歪の他の例として、例えば布状のスクリーンのたわみ等により、被投写面９が局所的に歪んでいることにより発生する画像歪が挙げられる。上記の第１〜第４の部分画像Ｐ１〜Ｐ４の相対位置のずれは、第１〜第４のプロジェクター２１〜２４で、例えば、投写方向が一致しないことや相対位置のずれること等に起因する。

本発明に係る画像処理装置は、例えば下記の第１〜第３の態様のように、多様な態様を取りうる。
第１の態様の画像処理装置として、各種処理を行うＡＳＩＣ等の１以上のロジック回路による構成が挙げられる。第１の態様の画像処理装置は、その一部または全部が、第１〜第４のプロジェクター２１〜２４、撮影装置４、信号源８のいずれかと一体化されていてもよい。
第２の態様の画像処理装置として、プログラムが実装されたコンピューターによる構成が挙げられる。すなわち、プログラムにより各種処理をコンピューターに実行させることにより、画像処理装置３の機能を実現することができる。例えば、メモリーやＣＰＵを協働させて各処理における演算を実行させ、演算結果をハードディスクやメモリー等の記憶部に保存しておき、必要に応じて演算結果を読出して他の処理に供することにより、ロジック回路等を用いる場合と同様の処理結果が得られる。なお、第２の態様の画像処理装置３において、各種処理を複数のコンピューターに分担させて行わせるようにしてもよい。 第３の態様の画像処理装置として、各種処理の一部の処理を行うロジック回路と、プログラムにより各種処理の他の処理を行うコンピューターとを組み合わせた構成が挙げられる。

このように、本発明に係る画像処理装置は、各種処理を行う独立した装置としての態様の他に、各種処理の一部を行う複数の機能部の集合としての態様もとりえる。すなわち、複数の機能部が、別体の複数の装置に分かれて設けられており、互いに協働して処理を行う態様であってもよい。

撮影装置４は、全体投写領域Ａ０の全体を含む被投写面９上の領域を撮影した撮影画像を取得可能である。撮影装置４は、例えばＣＣＤカメラ等の二次元イメージセンサーにより構成される。二次元イメージセンサーは、フォトダイオード等からなる複数の受光素子が二次元的に配列された構造を有している。本実施形態の撮影装置４は、撮影対象の色調の違いを撮影画像に反映可能なフルカラーの二次元イメージセンサーにより構成されている。

上記の補正情報を算出するときに、撮影装置４は、第１〜第４のプロジェクター２１〜２４の各々により被投写面９に投写された第１測定用画像と第２測定用画像とを同時にまたは別々に撮影し、撮影結果を示す撮影画像データを画像処理装置３へ出力する。ここでは、「第１測定用画像」が第１図形を含み、「第２測定用画像」が第２図形を含むものとする。以下の説明では、第１測定用画像及び第２測定用画像を「測定用パターン」という。また、第１測定用画像がプロジェクターから被投写面９に投写されたときに被投写面９上の第１図形を撮影した撮像画像を「第１撮影画像」と称する。さらに、第２測定用画像がプロジェクターから被投写面９に投写されたときに被投写面９上の第２図形を撮影した第２撮影画像を「第２撮影画像」と称する。詳しくは後述するが、本実施形態の測定用パターンとして用いられる第１測定用画像は、第１図形および第２図形を含んでいる。すなわち、本実施形態の第１測定用画像は第２測定用画像を兼ねており、被投写面９に投写された第１測定用画像を撮影した撮影画像は、第１撮影画像と第２撮影画像のいずれにも用いることができる。また、第１撮影画像と第２撮影画像との区別が必要ない場合に、第１撮影画像と第２撮影画像をいずれも単に撮影画像と称することがある。

本実施形態の撮影装置４は、１回の撮影により全体投写領域Ａ０の全体を撮影可能なように配置されている。複数回の撮影による撮影画像を合わせて全体投写領域Ａ０の全体を撮影する場合と比較して、撮影と撮影の間の撮影装置の移動等による誤差をなくすことができる。全体投写領域Ａ０の寸法やアスペクト比によっては、全体投写領域Ａ０の全体が撮影装置の画角に収まらない場合もありえる。この場合には、撮影装置を三脚等に据えること等により、被投写面９に対する撮影装置の相対位置を略固定した状態で全体投写領域Ａ０を部分ごとに撮影し、２回以上の撮影結果を合わせて全体投写領域Ａ０の全体を撮影した撮影画像を取得してもよい。

以上のように複数のプロジェクター２によりコンテンツ画像Ｐを表示すると、コンテンツ画像Ｐを大画面、高解像度、高輝度で表示にすることができる。例えば、一台のプロジェクターにより表示する場合と比較して、１台のプロジェクターの画素数が同じである条件では、解像度を下げることなく大画面でコンテンツ画像Ｐを表示することができる。また、同じ画面サイズでコンテンツ画像Ｐを表示する条件で比較すると、プロジェクターの数に応じて画素数を増すことができ、高解像度でコンテンツ画像を表示することができる。１台のプロジェクターの出力光量が同じである条件で比較すると、表示に寄与する光の光量をプロジェクターの数に応じて増すことができ、高輝度でコンテンツ画像Ｐを表示することができる。

これらの効果を得るためにプロジェクターの画素数や出力を増す手法と比較すると、各プロジェクターのコストを飛躍的に下げることができるので、プロジェクターの数を加味しても装置コストを低減する効果が期待できる。また、通常時はプロジェクターごとに例えば別の場所（例えば小会議室）に設置して使用し、用途に応じて、例えば大会議室に画像表示システムを構築して、コンテンツ画像を大画面、高解像度、高輝度で表示することも可能である。このように、プロジェクターを単独で使用するか、複数のプロジェクターを組み合わせて使用するかを用途に応じて選択可能になるので、１台のプロジェクターで上記の効果を得ようとする場合と比較して、利便性が高くなる。

また、画像処理装置３により位置補正処理が施された画像データに基づいてコンテンツ画像Ｐが表示されるので、各部分画像の画像歪や複数の部分画像での相対位置のずれが低減される。したがって、画像歪が少なく、しかも部分画像の継ぎ目が認識されにくい状態でコンテンツ画像Ｐを表示することができ、コンテンツ画像Ｐを高品質な画像として表示可能になる。本発明では、部分画像の画像歪や相対位置のずれを高精度に補正することができ、しかも補正情報を効率よく算出することが可能になっている。これにより、例えば画像表示システムの設置に要する手間や時間を減らすことができ、画像表示システムの利便性を高めることができる。

次に、図３、図４を参照しつつ、本発明に係る画像処理装置３の構成要素について詳しく説明する。図３は、画像処理装置３の機能構成を示す図、図４は測定用パターンの一例を示す説明図である。

図３に示すように画像処理装置３は、画像制御装置５および補正情報算出装置６を有している。補正情報算出装置６は、主として補正情報を算出する。画像制御装置５は、各種処理を行うとともに、補正情報を用いて各種処理の１つとして画像データに位置補正処理を施す。本実施形態では、画像制御装置５が、第１のコンピューターの一部として構成されており、補正情報算出装置６が第１のコンピューターと別体の第２のコンピューターのＣＰＵや記憶部等を利用して構成されている。

画像制御装置５は、画像入力部５１、画像保存部５２、画像補正部５３、および画像出力部５４を有している。画像入力部５１は、例えばビデオキャプチャーボード等により構成される。画像入力部５１は、必要に応じて画像制御装置５の外部のＤＶＤプレイヤーや通信機器等の信号源８からコンテンツ画像を受け取る。画像保存部５２は、例えばコンピューターに内蔵あるいは外付されたハードディスク等の記憶装置により構成され、コンテンツ画像Ｐを示す画像データを保存可能である。画像入力部５１へ入力された画像データや、画像保存部５２に保存されている画像データは、コンテンツ画像Ｐを表示するときに画像補正部５３へ出力される。

なお、画像制御装置５は、画像入力部５１と画像保存部５２の一方のみが設けられた構成であってもよい。画像入力部５１から入力された画像データを画像保存部５２に保存しておき、この画像データを適宜読出して画像補正部５３へ入力する構成であってもよい。

画像補正部５３は、その詳細な構成を図示しないが、演算部および記憶部を含んでいる。演算部は、例えばグラフィックス・プロセッシング・ユニット（ＧＰＵ）等により構成される。記憶部は、ビデオメモリー（ＶＲＡＭ）や不揮発メモリー等により構成される。画像補正部５３は、補正情報を参照して、補正後の画像データに基づいてプロジェクター２１〜２４により被投写面９上に投写される画像が補正前の画像データが示す画像と略一致するように、信号源８から入力された画像データを補正する。

演算部は、記憶部を画像バッファ等に利用しつつ、演算部へ入力された画像データにガンマ補正や色調補正等の各種処理を行う。プログラムを用いて、上記のＧＰＵに代えてコンピューターのＣＰＵに演算させることにより、各種処理を行わせるようにしてもよい。なお、画像入力部５１や画像保存部５２から入力された画像データ上での画素の配列が、プロジェクター２の画像形成素子の画素の配列と整合していない場合、例えば、画像データに含まれる画素数が画像形成素子の画素数と異なる場合もありえる。この場合に演算部は、入力された画像データに対して補間処理やレンダリング処理等を施して、補正後の画像データが画像形成素子の画素の配列に整合するように画像データを補正する。これらの処理については、各プロジェクターに処理部を設けておき、プロジェクターごとにこの処理部に処理させてもよい。

演算部は、補正情報を参照して画像データに位置補正処理を施すとともに部分画像データを生成する。補正情報は、上記の記憶部（例えば不揮発メモリー）に記憶されている。補正情報は、被投写面９上での全体投写領域Ａ０（図２参照）に占める各画素の位置と、複数のプロジェクター２の各々の画像形成素子における画素の配列に占める各画素の位置との対応関係を示す情報である。

補正情報は、例えば画像形成素子の画素ごとの値としてテーブル形式で記憶されている。すなわち、テーブル（補正情報）を参照すれば、全体投写領域Ａ０の所定の位置に所定の画素が表示されるようにする上で、各画素データを画像形成素子のいずれの画素へ入力すればよいのか分かる。

演算部は、位置補正処理による補正前の画像データが示す画像、すなわち表示すべきコンテンツ画像が有効投写領域Ａに表示されるように、例えば以下のような処理を行う。演算部は、全体投写領域Ａ０の内側であって有効投写領域Ａの外側の各画素（以下、非表示画素という）について、補正情報により各非表示画素と対応付けられた画像形成素子の各画素に供給するデータを、非表示用のマスクデータ（例えば黒を示すデータ）にする。また、有効投写領域Ａの内側の各画素（以下、表示画素という）について、補正情報により表示画素と対応付けられた画像形成素子の画素に供給するデータを、この表示画素用の画素データとして画像データに規定されたデータにする。

表示画素の位置が格子状の画素配列の格子点位置からずれている場合には、必要に応じて補間処理を行う。例えば、表示画素に対応する画像データ上の画素の周囲の画素の画素データを用いて、表示画素の位置に応じた画素データを補間により求める。補間のときに参照する周囲の画素の位置や、補間のときに周囲の画素の画素データに乗じる重み付けの係数（補間係数）等は、補正情報の一部として予め求めておくとよい。このような処理を、各投写領域に含まれる表示画素および非表示画素について行うことにより、各投写領域を担当するプロジェクター用の部分画像データが得られる。

画像補正部５３は、演算部により生成された部分画像データを画像出力部５４へ出力する。画像出力部５４は、画像補正部５３から出力された部分画像データを、各部分画像データを担当するプロジェクターへ出力する。例えば、画像出力部５４は、図１に示した第１の部分画像Ｐ１を示す部分画像データを第１のプロジェクター２１へ出力する。画像出力部５４は、以下同様に、第２〜第４の部分画像Ｐ２〜Ｐ４を示す部分画像データを第２〜第４のプロジェクター２２〜２４へ出力する。

本実施形態の補正情報算出装置６は、プログラムを用いて上記の第２のコンピューターに所定の処理（後述する）を行わせることにより、その機能を実現するものである。第２のコンピューターは、画像制御装置５が実装されている第１のコンピューターと別体になっており、例えばバスケーブル等により第１のコンピューターと電気的に接続されている。補正情報算出装置６により補正情報を算出した後に、バスケーブルを介して補正情報を画像制御装置５へ出力した上で、第２のコンピューター（補正情報算出装置６）および撮影装置４を取外した状態で、複数のプロジェクター２および画像制御装置５によりコンテンツ画像Ｐを表示させることも可能である。また、プロジェクター２に位置ずれを生じたときに、第２のコンピューター（補正情報算出装置６）および撮影装置４を再度設置して、補正情報を再度算出し、補正情報を更新することも可能である。

補正情報算出装置６は、機能ブロックとして補正情報演算部６１、位置情報取得部６２、記憶部６３、第１図形位置検出部６４、および第２図形位置検出部６５を有している。記憶部６３は、第２のコンピューターのハードディスクやメモリーにより構成される。記憶部６３には、補正情報の算出に用いる第１測定用画像及び第２測定用画像（測定用パターン）を示す測定用画像データ（元データ）が記憶されている。各プロジェクター用の測定用パターンは、複数のプロジェクター２で同じであってもよいし、互いに異なっていてもよい。本実施形態では、複数のプロジェクター２で互いに異なる測定用パターンを採用している。測定用画像データは、第１のコンピューターの記憶部やその他の記憶部に記憶されていてもよい。

図４に示すように、各測定用パターンは、ｉ方向およびｊ方向に配列された画素の配列により構成されている。測定用画像データは、各プロジェクターに供給された段階で画像形成素子の画素の配列に整合した形式になっている。例えば、画像形成素子の画素の配列が１９２０×１０８０個である場合に、測定用画像データは、ｉ方向に１９２０個の画素が並び、ｊ方向に１０８０の画素が並ぶ画像の画像データとしてプロジェクターに供給される。

第１のプロジェクター用の第１の測定用パターンＤ１１は、１つの第１図形Ｄ１１１、および複数の第２図形Ｄ１２１を含んでいる。本例の第１図形Ｄ１１１は、矩形状のものであり、第１の測定用パターンＤ１１の概ね中央に配置されている。第２図形Ｄ１２１は、第１図形Ｄ１１１とは形状と寸法の少なくとも一方が異なる。

第２図形Ｄ１２１は、特徴図形により構成されている。特徴図形とは、エッジ検出処理やパターン認識処理等の画像処理技術により検出可能な形状や輝度分布の図形であり、特徴図形を検出したときに特徴図形を代表する点を特徴点として求めることが可能な図形である。特徴図形については、その形状を検出可能であり、その形状と関連づけられた位置を特徴点の位置として特定可能な形状であれば、特に限定されない。特徴図形の形状としては、例えば互いに交差した線分（クロスハッチ）や正方形等であってもよい。

本例の第２図形は、ドット形状（スポット形状）の特徴図形により構成されている。例えば、特徴図形がドット形状である場合には、上記の画像処理技術によりドット形状の輪郭または輝度分布を検出することにより、ドット形状の中心点が求まり、中心点を特徴点とすることができる。特徴図形が矩形状である場合には、その中心点をドット形状と同様に特徴点として用いることができる他に、４つの頂点をそれぞれ特徴点として用いることができる。つまり、矩形の各辺に相当する線分をハフ変換等により検出することができ、検出した線分の交点である４つの頂点を、それぞれ特徴点として求めることができる。すなわち、第１図形Ｄ１１１は、４つの特徴点を含む特徴図形として用いることもできる。

第１図形Ｄ１１１は、第２図形Ｄ１２１よりも上記の画像処理技術により検出しやすい図形に設定するとよい。一般に検出対象の図形は、大判になるほどすなわち測定用パターンに対する特徴図形の寸法の比率が大きくなるほど検出しやすくなる。また、検出対象の図形が、単純形状（例えば矩形や円形）であるほど、またエッジでの明るさのジャンプが顕著であるほど検出しやすくなる。本例では、第１図形Ｄ１１１が第２図形Ｄ１２１よりも大判になっており、検出しやすい図形になっている。

本例では、測定用画像データに規定された第１図形Ｄ１１１の色調が、第２図形Ｄ１２１の色調と異なっている。第２図形Ｄ１２１の色調は、第１図形Ｄ１１１の色調よりも視感度（人間の錐体細胞の光吸収率）が高い色調、例えば緑に設定される。第１図形Ｄ１１１の色調は、例えば青または赤に設定される。

複数の第２図形Ｄ１２１は、ｉ方向に所定のピッチで配列されており、また、ｊ方向にも所定のピッチで配列されている。すなわち、直交格子の格子点上に各特徴図形の特徴点が位置するように、複数の第２図形Ｄ１２１が規則的に配列されている。

第２〜第４のプロジェクター用の測定用パターンは、第２図形の配置を除いて第１の測定用パターンＤ１１と同様になっている。すなわち、第２のプロジェクター用の第２の測定用パターンＤ１２は、１つの第１図形Ｄ１１２および複数の第２図形Ｄ１２２を含んでいる。第３のプロジェクター用の第３の測定用パターンＤ１３は、１つの第１図形Ｄ１１３および複数の第２図形Ｄ１２３を含んでいる。第４のプロジェクター用の第４の測定用パターンＤ１４は、１つの第１図形Ｄ１１４および複数の第２図形Ｄ１２４を含んでいる。第１図形Ｄ１１１〜Ｄ１１４は、いずれも同様の形状および寸法になっている。第２図形Ｄ１２１〜Ｄ１２４は、各測定用パターンにおいて、二次元的に規則的に配列されている。

互いに隣り合う一対の投写領域に投写される一対の測定用パターンにおいて、互いの端部を位置ずれなく重ね合わせた状態で、端部に配置されている第２図形が互いに重ならないように、第２図形の配置が設定されている。詳しくは、第１の測定用パターンＤ１１と第２の測定用パターンＤ１２を、ｊ方向の位置を揃えてｉ方向に並べた状態から互いに接近させて、互いの端部を重ね合わせたとする。この状態で、第１の測定用パターンＤ１１の端部に配置された第２図形Ｄ１２１と、第２の測定用パターンＤ１２の端部に配置された第２図形Ｄ１２２とが交互にｊ方向に並ぶように、第２図形Ｄ１２１の配置と第２図形Ｄ１２２の配置との関係が設定されている。第３、第４の測定用パターンＤ１３、Ｄ１４についても、同様の条件を満たすように、第２図形Ｄ１２３の配置と第２図形Ｄ１２４の配置との関係が設定されている。

また、第１の測定用パターンＤ１１と第３の測定用パターンＤ１３を、ｉ方向の位置を揃えてｊ方向に並べた状態から互いに接近させて、互いの端部を重ね合わせたとする。この状態で、第１の測定用パターンＤ１１の端部に配置された第２図形Ｄ１２１と、第３の測定用パターンＤ１３の端部に配置された第２図形Ｄ１２３とが交互にｉ方向に並ぶように、第２図形Ｄ１２１の配置と第２図形Ｄ１２３の配置との関係が設定されている。第２、第４の測定用パターンＤ１２、Ｄ１４についても、同様の条件を満たすように、第２図形Ｄ１２２の配置と第２図形Ｄ１２４の配置との関係が設定されている。

第１の測定用パターンＤ１１は、第１のプロジェクター２１により投写されて、被投写面９の第１投写領域Ａ１に第１の投写測定用パターンＴ１１を表示する。第１の投写測定用パターンＴ１１には、第１図形Ｄ１１１に相当する第１投写図形Ｔ１１１、および第２図形Ｄ１２１に相当する第２投写図形Ｔ１２１が含まれる。同様に、第２〜第４の測定用パターンＤ１２〜Ｄ１４は、第２〜第４のプロジェクター２２〜２４により投写されて、被投写面９の第２〜第４投写領域Ａ２〜Ａ４に第２〜第４の投写測定用パターンＴ１２〜Ｔ１４を表示する。第２〜第４の投写測定用パターンＴ１２〜Ｔ１４には、第１図形Ｄ１１２〜Ｄ１１４に相当する第１投写図形Ｔ１１２〜Ｔ１１４、および第２図形Ｄ１２２〜Ｄ１２４に相当する第２投写図形Ｔ１２２〜Ｔ１２４が含まれる。本実施形態では、上述のように第２図形の配置の関係が設定されているので、互いの端部が重畳される一対の投写領域で端部に表示された第２投写図形が互いに重なり合わないようになっている。

図３の説明に戻り補正情報演算部６１、位置情報取得部６２、第１図形位置検出部６４、および第２図形位置検出部６５は、第２のコンピューターのＣＰＵおよびメモリー等により構成される。補正情報演算部６１は、第２図形位置検出部６５により検出された第２撮影画像の中の第２図形の位置と、第２測定用画像の元データ上の第２図形の位置とを比較して、被投写面９上での画素の位置と、プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出する。補正情報演算部６１は、補正情報を算出するときに、記憶部６３に記憶されている測定用画像データを読出して直接的にまたは間接的に各プロジェクターへ出力する。ここでは、補正情報演算部６１が、測定用画像データを画像制御装置５の画像補正部５３へ出力する。測定用画像データは、画像制御装置５を介して間接的に各プロジェクターへ出力される。画像制御装置５は、必要に応じて、測定用画像データを画像形成素子の画素の配列に整合する形式に補正する。第１〜第４のプロジェクター２１〜２４は、供給された測定用画像データに基づいて、被投写面９に測定用パターンを投写する。

第１図形位置検出部６４は、被投写面９上に投写された測定用パターンを撮影した撮影画像を示す撮影画像データを受け取る。第１図形位置検出部６４は、例えばエッジ処理やパターン認識処理等を撮影画像データに施して、撮影画像に写っている測定用パターン（以下、撮影パターンという）を検出する。第１図形位置検出部６４は、検出した撮影パターンを示す画像データを記憶部６３に格納する。

第１図形位置検出部６４は、撮影パターンに含まれている各第１図形の位置を検出する１回目の処理を行う。本実施形態の第１図形位置検出部６４は、ハフ変換を利用して矩形状の第１図形の４つの頂点を検出し、撮影パターンに占める４つの頂点の位置を示すデータの組を各第１図形の情報として第２図形位置検出部６５へ出力する。

第１図形位置検出部６４は、１回目の処理で第１図形の位置の検出に失敗したときに、検出失敗を示す情報を位置情報取得部６２に出力する。第１図形位置検出部６４は、第１図形の位置の検出に失敗したときに、位置情報取得部６２から第１の位置情報を受取る。第１の位置情報は、撮影パターンの中で第１図形が占める概ねの位置、例えば第１図形の内側の位置としてユーザーが選択した位置を示す情報である。

第１図形位置検出部６４は、第１の位置情報が示す位置を基準として、各第１図形の位置を検出する２回目の処理を行う。２回目の処理では、探索する範囲を基準の位置の周囲に限定して、１回目の処理よりも探索の単位領域を狭めて精査する。これにより、演算の負荷を増すことなく探索の精度を高めることができ、１回目の処理よりも第１図形の位置の検出の成功率が高くなる。第１図形位置検出部６４は、２回目の処理で第１図形の位置の検出に成功したときに、上記の各第１図形の情報を第２図形位置検出部６５へ出力する。

第１図形位置検出部６４は、２回目の処理で第１図形の位置の検出に失敗したときに、検出失敗を示す情報を位置情報取得部６２に出力し、位置情報取得６２から第２の位置情報を受取る。第２の位置情報は、撮影パターンの中で第１図形の特徴点の位置（ここでは矩形の４つの頂点の位置）としてユーザーが指定した位置を示す情報である。第１図形位置検出部６４は、受取った第２の位置情報が示す特徴点の位置を、上記の各第１図形の情報として第２図形位置検出部６５へ出力する。このように、第１の位置情報及び第２の位置情報は、第１撮影画像の中の第１図形に対応する位置を示す情報としてユーザーが入力した位置情報である。

位置情報取得部６２は、第１図形位置検出部６４から１回目あるいは２回目の処理での検出失敗を示す情報が出力されたときに、グラフィカルユーザーインターフェース（以下、ＧＵＩという）６６を介して、ユーザーに検出失敗を通知し、第１の位置情報の入力を受付ける。ＧＵＩ６６は、例えば第２のコンピューターのモニターを利用して各種処理の経過や結果を示す情報を表示する。ユーザーは、各種処理の経過や結果に応じて、第２のコンピューターに接続されたキーボードやマウス等の入力デバイスを利用して、必要に応じて第１、第２の位置情報などの入力を行うことが可能である。ここでは、位置情報取得部６２は、第１図形位置検出部６４から１回目あるいは２回目の処理での検出成功を示す情報を受取り、ＧＵＩ６６を介してユーザーに検出成功を通知する。

第２図形位置検出部６５は、記憶部６３から撮影パターンを示す画像データを読出し、第１図形位置検出部６４から出力された上記の記の各第１図形の情報を参照して第２図形を検出する処理を行う。例えば、第２図形位置検出部６５は、第１図形位置検出部６４から出力された各第１図形の情報を参照し、各第１図形が投写された投写領域の撮影パターン上での範囲を推定する。第２図形位置検出部６５は、推定した各投写領域の範囲の内側を探索して第２図形を検出し、検出された各第２図形に規定される特徴点の撮影パターン上での位置を求める。第２図形位置検出部６５は、求めた各特徴点の位置を対象の特徴点が属する投写領域ごとのデータとして補正情報演算部６１に出力する。

なお、測定用画像データに規定されている第１図形に対する各第２図形の相対位置を用いて、例えば第２図形位置検出部６５に撮影パターン上での各第２図形の略位置を推定させてもよい。推定した略位置の周囲を解析して各第２図形を検出させると、演算負荷を増すことなく精査させることができ、第２図形を高精度に検出することが可能になる。また、いずれかの第２図形について検出に失敗したときに、この第２図形の略位置として推定した値を用いて、この第２図形に規定される特徴点の位置を例えば第２図形位置検出部６５に算出させてもよい。これにより、第２図形の検出失敗による処理の発散を回避することができる。

すなわち、第２図形位置検出部６５は、第１測定用画像の元データ上の第１図形の位置に対する第２測定用画像の元データ上の第２図形の位置の位置関係を用いて、第２推定画像の中の第２図形の位置を検出することができる。また、本実施形態では第１図形及び第２図形はいずれも測定用パターンに含まれているため、元データにおける両者の位置関係を把握することが容易である。なお、第１図形を含む第１測定用画像と第２図形を含む第２測定用画像が別の画像であったとしても、それぞれの画像の元データを構成する画素の対応関係が既知であれば、第１図形及び第２図形の位置関係を把握することが可能である。したがって、１枚の画像を第１測定用画像及び第２測定用画像を兼ねるものとして使用してもよく、異なる２枚の画像をそれぞれ第１測定用画像及び第２測定用画像として使用しても良い。

このように、第２図形位置検出部６５は、第１の位置情報又は第２の位置情報が示す位置を基準として第１撮影画像の中の第１図形の位置を第１図形位置検出部６４が検出したときの検出結果と、第１測定用画像の元データ上の第１図形の位置に対する第２測定用画像の元データ上の第２図形の位置の位置関係と、を用いて、第２撮影画像の中の第２図形の位置を検出することができる。

補正情報演算部６１は、第２図形位置検出部６５により検出された特徴点の位置と、測定用画像データ上での特徴点の位置とを比較して、補正情報を算出する。補正情報演算部６１は、算出した補正情報を画像制御装置５へ出力する。画像制御装置５は、補正情報算出装置６から出力された補正情報を画像補正部５３の記憶部に格納し、補正情報を更新する。

図５は、コンテンツ画像Ｐを表示するまでの処理フローを示すフローチャート、図６は第１の位置情報の入力方法の一例を示す説明図、図７は第２の位置情報の入力方法の一例を示す説明図である。図６、図７では、第２図形の図示を省略している。ここでは、画像表示システム１の設置時に補正情報を算出する例について説明する。

なお、下記のステップＳ４〜Ｓ１２の処理を行うことにより、本発明に係る画像処理方法の一態様を行うことができる。また、ステップＳ６、Ｓ７、Ｓ１０、Ｓ１１の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る補正情報算出装置の機能を実現することができる。ステップＳ６、Ｓ７、Ｓ１０〜Ｓ１２の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る画像処理装置の機能を実現することもできる。

図５に示すように、まず、被投写面９に対して複数のプロジェクター２を配置し、必要に応じて各プロジェクターの配置を粗調整する（ステップＳ１）。ステップＳ１では、例えば、第１〜第４のプロジェクター２１〜２４の各々から、各プロジェクターの投写領域（以下、部分投写領域という）の輪郭を示す配置用ガイドを被投写面９に投写させる。そして、配置用ガイドを参照しつつ各プロジェクターを移動させて、全体投写領域Ａ０に占める各投写領域の位置を粗調整する。画像表示システム１の設置後、例えば画像表示システム１のメンテナンス時に補正情報を算出する場合には、上記のステップＳ１を省くこともできる。

次いで、補正情報算出装置６の補正情報演算部６１は、各プロジェクター用の測定用パターンを示す測定用画像データを対象となるプロジェクターに供給する。そして、第１〜第４のプロジェクター２１〜２４の各々に、供給された測定用画像データに基づいて測定用パターンを被投写面９に投写させる（ステップＳ２）。ここでは、第１〜第４のプロジェクター２１〜２４で並行して測定用パターンを投写させる。

次いで、撮影装置４は、被投写面９上の投写測定用パターンＴ１１〜Ｔ１４を含んだ領域を撮影する（ステップＳ３）。
次いで、補正情報算出装置６の第１図形位置検出部６４は、撮影装置４により撮影された撮影画像の中の測定用パターン（撮影パターン）を検出し、また撮影パターンの中の第１図形の位置を検出する処理を行う（ステップＳ４）。

次いで、第１図形位置検出部６４は、第１図形の位置を検出する１回目の処理の成否を判定する（ステップＳ５）。例えば、検出された第１図形の特徴点の数が、測定用画像データに規定された第１図形の形状の特徴点の数と一致しない場合や、第１図形の数がプロジェクターの数と整合しない場合、検出された第１図形の特徴点を結んだ図形と測定用画像データに規定された第１図形の形状との相関を求め、相関が閾値未満である場合に、１回目の処理で第１図形の位置の検出が失敗であると判定する。

第１図形位置検出部６４は、１回目の処理で第１図形の位置の検出が成功であると判定した場合（ステップＳ５；Ｙｅｓ）に、検出した第１図形の位置を第２図形位置検出部６５に出力する。
第１図形位置検出部６４は、１回目の処理で第１図形の位置の検出が失敗であると判定した場合（ステップＳ５；Ｎｏ）に、１回目の処理の検出失敗を示す情報を位置情報取得部６２に出力する。

位置情報取得部６２は、１回目の処理の検出失敗を示す情報を受け取ると、ＧＵＩ６６を介してユーザーに検出失敗を通知し、第１の位置情報の入力を受け付ける（ステップＳ６）。
図６に示すように、例えばＧＵＩ６６は第２のコンピューターのモニター上に、撮影パターンに相当する画像を表示させる。また、ＧＵＩ６６は測定用画像データに規定されている各第１図形をアイコンＭ１〜Ｍ４として、撮影パターンと重ねて表示する。ユーザーは、例えば第４の投写測定用パターンＴ１４に含まれる第１投写図形Ｔ１１４を対象として、モニターに表示されている第１投写図形Ｔ１１４の内側まで、第１投写図形Ｔ１１４に対応するアイコンＭ４をマウスでドラッグしてドロップする。ＧＵＩ６６は、アイコンＭ４がドロップされた位置を示す情報を第１の位置情報として位置情報取得部６２に出力する。位置情報取得部６２は、ユーザーが入力した第１の位置情報を、ＧＵＩ６６を介して取得して第１図形位置検出部６４に出力する。第１図形位置検出部６４は、位置情報取得部６２から出力された第１の位置情報を用いて第１図形の位置を検出する２回目の処理を行う（ステップＳ７）。

第１図形位置検出部６４は、第１図形の位置を検出する２回目の処理の成否を、ステップＳ５と同様にして判定する（ステップＳ８）。
第１図形位置検出部６４は、２回目の処理で第１図形の位置の検出が成功であると判定した場合（ステップＳ８；Ｙｅｓ）に、検出した第１図形の位置を第２図形位置検出部６５に出力する。例えば、ＧＵＩ６６は、第１図形の位置の検出成功を示す情報を受け取り、図６に示したモニター上の第１投写図形Ｔ１１４の色を変化させるとともに、第１図形の位置として検出された値を用いてモニター上に第１図形を表示させ、ユーザーに第１図形の位置の検出成功を通知する。ユーザーは、モニター上に撮影パターンと重ねて表示された検出結果の第１図形により、検出の成否を確認することができる。
第１図形位置検出部６４は、２回目の処理で第１図形の位置の検出が失敗であると判定した場合（ステップＳ８；Ｎｏ）に、２回目の処理の検出失敗を示す情報を位置情報取得部６２に出力する。

位置情報取得部６２は、２回目の処理の検出失敗を示す情報を受取り、ＧＵＩ６６を介してユーザーに検出失敗を通知し、第２の位置情報の入力を受け付ける（ステップＳ９）。図７に示すように、ユーザーは、モニター上の第１投写図形Ｔ１１４の内側に表示されているアイコンＭ４の各頂点を、例えばマウスでドラックして移動させ、モニター上の第１投写図形Ｔ１１４の各頂点の位置でドロップする。ＧＵＩ６６は、アイコンＭ４の各頂点がドロップされた位置を示す情報を第２の位置情報として位置情報取得部６２に出力する。位置情報取得部６２は、ユーザーが入力した第２の位置情報を、ＧＵＩ６６を介して取得して第１図形位置検出部６４に出力する。なお、第１図形位置検出部６４が１回目または２回目の処理で第１図形の位置の検出が成功であると判定した場合でも、実際には検出に失敗していることもありえる。上述したように、ユーザーは、モニター上で検出の成否を確認することが可能になっている。第１図形位置検出部６４が第１図形の位置の検出が成功であると判定した場合でも、ユーザーは自身の判断により、上記の方法で第２の位置情報を入力し、第１図形位置検出部６４の検出結果を第２の位置情報に更新することが可能になっている。
位置情報取得部６２は、ユーザーが入力した第２の位置情報を、ＧＵＩ６６を介して取得して第１図形位置検出部６４に出力する。第１図形位置検出部６４は、位置情報取得部６２から出力された第２の位置情報が示す特徴点の位置を第２図形位置検出部６５に出力する。

第２図形位置検出部６５は、第１図形位置検出部６４から出力された第１図形の特徴点の位置を用いて第２図形の位置を検出し、検出した第２図形の特徴点の位置を補正情報演算部６１に出力する（ステップＳ１０）。
補正情報演算部６１は、第２図形位置検出部６５から出力された第２図形の各特徴点の位置を、被投写面９上での特徴点の位置として、測定用画像データに規定された第２図形の各特徴点の位置と比較し、被投写面９上の画素の位置と各プロジェクターの画像形成素子の画素の位置との対応関係を示す補正情報を算出する（ステップＳ１１）。

補正情報の算出方法としては、各プロジェクターの画像形成素子での画素の位置と、被投写面９上での画素の位置との対応関係を示す情報が得られる方法であれば、特に限定されない。例えば、補正情報の算出方法として下記の２つの方法が挙げられる。

第１の方法では、補正情報演算部６１が、測定用画像データに規定された測定用パターンを撮影パターンに変換する射影変換を求める。この射影変換により画像データ上の各画素の座標（ｉ，ｊ）を変換して、画素ごとのデータのテーブルとして補正情報を算出する。なお、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換を求める場合でも、画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。

図８は、補正情報の算出方法の一例を示す説明図である。図８には、測定画像用データに規定された測定用パターンＤの一部と、画像データ上での撮影パターンＴとを概念的に図示している。図８において、符号Ｄ１〜Ｄ４は、測定用パターンＤに含まれる特徴点を示す。特徴点Ｄ１〜Ｄ４は、各特徴点を順に結んだ線が領域Ｄ５の輪郭をなすように選択される。図８において、符号Ｔ１〜Ｔ４は、撮影パターンＴに含まれる特徴点を示す。特徴点Ｔ１〜Ｔ４は、投写された測定用パターンＤにおける特徴点Ｄ１〜Ｄ４に相当する特徴点である。特徴点Ｔ１〜Ｔ４を順に結んだ線は領域Ｔ５の輪郭をなしている。

射影変換の変換式は、下記の式（１）、式（２）で表すことができる。式（１）、式（２）において、（ｘ，ｙ）は変換前の任意の点のｉｊ座標（ｉ，ｊ）を示し、（Ｘ，Ｙ）はこの点の変換先のｉｊ座標（ｉ，ｊ）を示す。ａ〜ｈは変換係数を示し、ａ〜ｈを求めることにより、１つの射影変換が求まる。
Ｘ＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）・・・（１）
Ｙ＝（ｄｘ＋ｅｙ＋ｆ）／（ｇｘ＋ｈｙ＋１）・・・（２）

特徴点Ｄ１〜Ｄ４の各々の座標は、測定用画像データに規定されるので既知である。特徴点Ｔ１〜Ｔ４の各々の座標は、撮影パターンＴから特徴点を検出することにより、既知になっている。式（１）、式（２）の（ｘ，ｙ）に特徴点Ｄ１の座標を代入し、（Ｘ，Ｙ）に特徴点Ｔ１の座標を代入すると、ａ〜ｈの関係式が２つ得られる。同様に特徴点Ｄ２、Ｔ２の組、特徴点Ｄ３、Ｔ３の組、特徴点Ｄ４、Ｔ４の組のそれぞれの座標を代入することにより、ａ〜ｈの８つの未知数に対して８つの関係式が得られる。この８元１次方程式を解くことにより、領域Ｄ５を領域Ｔ５に変換する射影変換のａ〜ｈが得られる。得られた射影変換に対して、領域Ｄ５の周上および内側に含まれる各画素の座標を（ｘ，ｙ）に代入することにより、領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標が求まる。

ここでは、測定用パターンに含まれる特徴点から特徴点Ｄ１〜Ｄ４を選択して、測定用パターンＤの一部をなす領域Ｄ５に対する射影変換を求める。そして、異なる特徴点を特徴点Ｄ１〜Ｄ４として選択することにより、領域Ｄ５を異ならせて射影変換を求める。得られた射影変換を用いて、上述のようにして領域Ｄ５の各画素と１対１で対応する領域Ｔ５での各画素の座標を求める。以下同様にして測定用パターンの部分ごとの射影変換を求め、測定用パターンの各画素の座標と、画素ごとに対応する撮影パターンの画素の座標を求める。測定用パターンの各画素の座標は、プロジェクターの画像形成素子における画素の位置と対応関係がある。また、撮影パターンの画素の座標は、被投写面での画素の位置と対応関係がある。したがって、結果的に画像形成素子上での画素の座標と、被投写面での画素の位置との対応関係を示す補正情報が得られる。

例えば、画像形成素子の各画素の座標に対して上記の射影変換を行うことにより、被投写面９上での画素（以下、変換画素という）の座標が求まる。変換画素の座標の最大値や最小値を参照することにより、有効投写領域Ａの範囲が自動または手動で設定される。そして、有効投写領域Ａの中に、コンテンツ画像の形式や画素数に応じた画素（表示画素）の配列を配置するものとして、被投写面９上での各表示画素の座標を上記の有効投写領域Ａの範囲の設定値から求める。表示画素の座標が変換画素の座標からずれる場合には、表示画素の周囲に位置する変換画素に供給される画素データを用いて表示画素の画素データを補間により求めるべく、周囲の変換画素と表示画素との距離に応じた補間の重み付けを示す補間係数を求めておいてもよい。この補間係数は表示画素ごとの固定値になるので、補正情報の一部として保存しておくとよい。

第２の方法では、撮影パターンを測定用画像データに規定された測定用パターンに変換する射影変換（第１の方法での射影変換の逆変換）を求める。また、例えば撮影パターンに含まれる特徴点の位置を用いて全体投写領域Ａ０の範囲を推定し、有効投写領域Ａの範囲を自動または手動で設定する。そして、有効投写領域Ａの中に、コンテンツ画像の形式や画素数に応じた表示画素の配列を配置するものとして、被投写面９上での各表示画素の座標を上記の有効投写領域Ａの範囲の設定値から求める。得られた各表示画素の座標を射影変換により変換することにより、被投写面９上での各表示画素に対応する画像形成素子上の画素（以下、変調単位という）の位置が求まる。得られた変調単位の位置が、実際の変調単位の位置と整合しない場合、すなわち変調単位に２以上の表示画素が対応する場合には、必要に応じて各変調単位に入力される画素データを補間により求めるべく、補間係数を求めておいてもよい。上述のように、求めた補間係数は補正情報の一部として保存しておくとよい。

図５の説明に戻り、コンテンツ画像Ｐを表示するときに画像制御装置５は、コンテンツ画像Ｐを示す画像データに基づいて各プロジェクター用の部分画像データを作成するとともに、画像データに対して補正情報を用いて位置補正処理を施す（ステップＳ１２）。

次いで、画像処理装置３は、位置補正処理の補正後の部分画像データを、対象となるプロジェクターに供給する。第１〜第４のプロジェクター２１〜２４の各々は、供給された部分画像データに基づいて部分画像を投写する（ステップＳ１３）。このようにして、第１〜第４の部分画像Ｐ１〜Ｐ４からなるコンテンツ画像Ｐが表示される。

本実施形態の補正情報算出装置６にあっては、ユーザーが入力した位置情報を用いて第１図形を検出するので、第１図形の検出の成功率が高くなり、第２図形の位置を正確に求めることができる。第１図形と第２図形とで、形状や寸法が異なっているので、ユーザーは、第１図形を第２図形から区別しやすくなる。したがって、ユーザーによる第１図形の探索の手間を減らすことができ、ユーザーによる第１図形の誤認の発生を減らすことができる。よって、ユーザーの負担を最小限に抑さえつつ、撮影画像に写った特徴点と被投写面上での特徴点との対応関係を正確に求めることが可能になる。

また、第１図形位置検出部６４が第１図形の位置の検出に成功したときに、ユーザーによる位置情報の入力を省くことができ、ユーザーの負担を最小限に抑さえることができる。また、ユーザーは第１図形の内側の位置を示す第１の位置情報を入力すればよいので、第１図形の検出の基準になる位置を簡便に指定することができる。さらに、第１図形位置検出部６４が第１図形の位置を検出する２回目の処理で失敗したときに、第２の位置情報を用いて処理が継続されるので、処理のロバスト性を高めることができる。

第１図形と第２図形とで色調が異なるのでユーザーが第１図形を第２図形から区別しやすくなり、第１図形の検索に要するユーザーの負担を最小限に抑えることができる。また、第１図形と第２図形の一方の図形の位置を検出するときに、他方の図形の影響を加味しないように色の違いを利用したフィルタリングを施すことが可能になる。これにより、第１図形の位置や第２図形の位置の検出の成功率を高めることができる。

上述の理由により、本実施形態の画像処理装置３は、補正情報を取得する上での手間を省きつつ、部分画像の歪や相対位置のずれを補正可能になっている。また、本実施形態の画像表示システムは１、利便性が高く、しかも高品質な画像を表示可能なものになる。また、本実施形態の画像処理方法は、ユーザーの負担を最小限に抑えつつ、撮影画像に写った特徴点と被投写面上での特徴点との対応関係を正確に求めることが可能であるので、補正情報を取得する上での手間を省きつつ、画像歪等を高精度に補正可能になっている。

なお、本発明の技術範囲は下記の実施形態に限定されるものではない。本発明の主旨を逸脱しない範囲内で多様な変形が可能である。例えば、上記の実施形態では第１図形と第２図形とを含んだ測定用画像を用いているが、第１図形のみを含んだ第１測定用画像と、第２図形のみを含んだ第２測定画像を併用してもよい。

１・・・画像表示システム、２・・・プロジェクター、３・・・画像処理装置、
４・・・撮影装置、５・・・画像制御装置、６・・・補正情報算出装置、
８・・・信号源、９・・・被投写面、２１・・・第１のプロジェクター、
２２・・・第２のプロジェクター、２３・・・第３のプロジェクター、
２４・・・第４のプロジェクター、５１・・・画像入力部、５２・・・画像保存部、
５３・・・画像補正部、５４・・・画像出力部、６１・・・補正情報演算部、
６２・・・位置情報取得部、６３・・・記憶部、６４・・・第１図形位置検出部、
６５・・・第２図形位置検出部、Ａ・・・有効投写領域、Ａ０・・・全体投写領域、
Ａ１・・・第１投写領域、Ａ２・・・第２投写領域、Ａ３・・・第３投写領域、
Ａ４・・・第４投写領域、Ｄ・・・測定用パターン、Ｄ１〜Ｄ４・・・特徴点、
Ｄ５・・・領域、Ｄ１１〜Ｄ１４・・・測定用パターン、
Ｄ１１１〜Ｄ１１４・・・第１図形、Ｄ１２１〜Ｄ１２４・・・第２図形、
Ｐ・・・コンテンツ画像、Ｐ１・・・第１の部分画像、Ｐ２・・・第２の部分画像、
Ｐ３・・・第３の部分画像、Ｐ４・・・第４の部分画像、Ｐ５・・・重畳領域、
Ｍ１〜Ｍ４・・・アイコン、Ｓ１〜Ｓ１３・・・ステップ、Ｔ・・・撮影パターン、
Ｔ１〜Ｔ４・・・特徴点、Ｔ５・・・領域、Ｔ１１〜Ｔ１４・・・投写測定用パターン、
Ｔ１１１〜Ｔ１１４・・・第１投写図形、Ｔ１２１〜Ｔ１２４・・・第２投写図形

Claims (9)

1. 第１図形を含んだ第１測定用画像がプロジェクターから被投写面に投写されたときに前記被投写面上の前記第１図形を撮影した第１撮影画像の中の前記第１図形に対応する位置を示す情報としてユーザーが入力した位置情報を取得する位置情報取得部と、
   前記第１図形とは形状と寸法の少なくとも一方が異なる第２図形を含んだ第２測定用画像が前記プロジェクターから前記被投写面に投写されたときに前記被投写面上の前記第２図形を撮影した第２撮影画像の中の前記第２図形の位置について、前記位置情報が示す位置を基準として前記第１撮影画像の中の前記第１図形の位置を検出したときの検出結果と、前記第１測定用画像の元データ上の前記第１図形の位置に対する前記第２測定用画像の元データ上の前記第２図形の位置の位置関係と、を用いて、前記第２撮影画像の中の前記第２図形の位置を検出する第２図形位置検出部と、
   前記第２図形位置検出部により検出された前記第２撮影画像の中の前記第２図形の位置と、前記第２測定用画像の元データ上の前記第２図形の位置とを比較して、前記被投写面上での画素の位置と、前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出する補正情報演算部と、
   を備えていることを特徴とする補正情報算出装置。
2. 前記第１撮影画像の中の前記第１図形の位置を検出する第１図形位置検出部を備え、
   第２図形位置検出部は、前記第１図形位置検出部が前記第１図形の検出に成功したときに、前記第１図形位置検出部による検出結果を用いて前記第２撮影画像の中の前記第２図形の位置を検出し、前記第１図形位置検出部が前記第１図形の検出に失敗したときに、前記位置情報を用いて検出された前記第１図形の位置を用いて前記第２撮影画像の中の前記第２図形の位置を検出することを特徴とする請求項１に記載の補正情報算出装置。
3. 前記位置情報は、前記第１図形の内側の位置を示す第１の位置情報と、前記第１撮影画像の中の前記第１図形の位置を規定する特徴点の位置を示す第２の位置情報とを含み、
   前記位置情報取得部は、前記第１の位置情報を用いた前記第１図形の位置の検出が失敗したときに、前記第２の位置情報を取得し、
   前記第２図形位置検出部は、前記位置情報取得部が前記第２の位置情報を取得したときに、前記第２の位置情報が示す特徴点に規定される前記第１図形の位置を前記第１撮影画像の中の前記第１図形の位置として用いて、前記第２撮影画像の中の前記第２図形の位置を検出することを特徴とする請求項１または請求項２に記載の補正情報算出装置。
4. 前記第１測定用画像が前記第２図形を含み、
   第２図形位置検出部は、前記第１撮影画像を前記第２撮影画像として用いて前記第２撮影画像の中の前記第２図形の位置を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の補正情報算出装置。
5. 前記第１図形の寸法が前記第２図形の寸法よりも大きく、前記第１測定用画像に含まれる前記第２図形の数が前記第１測定用画像に含まれる前記第１図形の数よりも多いことを特徴とする請求項４に記載の補正情報算出装置。
6. 前記第１測定用画像において前記第１図形の色調が前記第２図形の色調と異なっており、前記第１図形の色調が前記第２図形の色調と区別されるように前記被投写面上の前記第１測定用画像を撮影した撮像画像を前記第１撮影画像として用いることを特徴とする請求項４または請求項５のいずれか一項に記載の補正情報算出装置。
7. 請求項１から請求項６のいずれか一項に記載の補正情報算出装置と、
   前記補正情報算出装置により算出された前記補正情報を参照して、補正後の前記画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正する画像補正部と、
   を備えていることを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置と、
   前記画像処理装置により補正された前記補正後の画像データに基づいて画像を投写する複数のプロジェクターと、
   を備えていることを特徴とする画像表示システム。
9. 第１図形を含んだ第１測定用画像をプロジェクターから被投写面に投写するステップと、
   前記被投写面上の前記第１図形を撮影して第１撮影画像を取得するステップと、
   前記第１撮影画像の中の前記第１図形に対応する位置を示す情報としてユーザーが入力した位置情報を取得するステップと、
   前記第１図形とは形状と寸法の少なくとも一方が異なる第２図形を含んだ第２測定用画像を前記プロジェクターから前記被投写面に投写するステップと、
   前記被投写面上の前記第２図形を撮影して第２撮影画像を取得するステップと、
   前記第２撮影画像の中の前記第２図形の位置について、前記位置情報が示す位置を基準として前記第１撮影画像の中の前記第１図形の位置を検出するステップと、
   前記第１撮影画像の中の前記第１図形の位置の検出結果と、前記第１測定用画像の元データ上の前記第１図形の位置に対する前記第２測定用画像の元データ上の前記第２図形の位置の位置関係とを用いて、前記第２撮影画像の中の前記第２図形の位置を検出するステップと、
   前記第２撮影画像の中の前記第２図形の位置の検出結果と、前記第２測定用画像の元データ上の前記第２図形の位置とを比較して、前記被投写面上での画素の位置と、前記プロジェクターの画像形成素子での画素の位置との対応関係を示す補正情報を算出するステップと、
   前記補正情報を参照して、補正後の前記画像データに基づいて前記プロジェクターにより前記被投写面上に投写される画像が補正前の前記画像データが示す画像と略一致するように前記画像データを補正するステップと、
   を備えていることを特徴とする画像補正方法。

Images