JP2011182078A - 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法 - Google Patents

Abstract

【課題】投写画像を撮像した撮像画像データを用い、歪みのない投写画像が表示可能な補正量を算出するための補正情報算出装置を提供することを目的とする。
【解決手段】プロジェクター２が有する画像形成素子上の画素の座標と、被投写面Ｓの投写画像上の画素の座標と、の対応関係を示す補正情報を算出する補正情報算出装置４であって、プロジェクター２から被投写面Ｓに投写された複数の投写画像を撮像した撮像画像５から、第１の射影変換によって、複数の投写画像を被投写面Ｓの法線方向から撮像したときの画像として推定される推定画像を求める射影変換部４２と、投写画像の元データで規定される画像形成素子上での複数の第１特徴点の座標と、推定画像において複数の第１特徴点と１対１で対応する複数の第２特徴点の座標と、に基づいて、画像形成素子上の画素の座標と、推定画像上の画素の座標と、の対応関係を示す補正情報を算出する算出部４４と、を有する。
【選択図】図３

Description

本発明は、補正情報算出装置、画像補正装置、画像表示システムおよび補正情報算出方法に関するものである。

従来、展示会や学会、会議等のプレゼンテーションに、あるいはホームシアター等にプロジェクターが用いられており、また店頭広告などにもプロジェクターの使用用途が広がっている。プロジェクターを用いると、ディスプレイなどの直視型表示装置よりも大画面表示が容易であるため、より多人数に対して同じ画像を見せることが可能であり利便性が高い。近年では、投写画像の高解像度を求める市場要求に対して、様々な開発がなされている。

プロジェクターによる投写画像は、プロジェクターが有する液晶ライトバルブやＤＭＤ（デジタルミラーデバイス）等の画像形成素子の画素数に依存している。したがって、プロジェクターが投写する投写画像の解像度を高めるためには、高解像度の画像形成素子を用いる必要がある。しかし、そのような高精細な画像形成素子は、非常に高価なものとなりやすく汎用されるには適していない。

そこで、複数台のプロジェクターを用い１つの画像を投写するシステムが開発されている（例えば、特許文献１参照）。特許文献１のシステムでは、１つの画像を分割して複数台のプロジェクターにそれぞれ投写表示させ、各プロジェクターの投写画像の周縁部を重ね合わせながら投写画像を結合し、１つの画像として投写している。以下の説明では、このように複数のプロジェクターから投写された画像を結合して表示する画像のことを、「全体画像」と称することがある。また、以下の説明では、複数のプロジェクターの各々から投写された画像を、「部分画像」と称することがある。

また、各プロジェクターの投写可能範囲を合わせた最大の投写可能範囲は、必ずしも矩形とはなっていない。そのため、上記特許文献１のシステムでは、投写画像をデジタルカメラで撮像し、撮像画像から投写領域の歪みを補正して、矩形画像を表示可能としている。例えば、被投写面が巻き取り式のスクリーンである場合、スクリーンの弛みや波打ち等に起因して投写画像に歪みが生じる。特許文献１のシステムでは、このような画像の歪みを、撮像した画像を基に補正している。

このようなシステムを用いると、通常の解像度の画像形成素子を備えるプロジェクターを用いたとしても、用いるプロジェクターの台数分だけ投写画像の解像度を高めることができる。また、光源の数も用いるプロジェクターの台数分増えることとなるため、投写画像の大きさが同じであれば、１台のプロジェクターで投写した画像と比べて明るい画像を表示することが可能となる。さらに、歪みのない画像表示が可能となる。

特開２００６−１４３５６号公報

しかしながら、上記方法には次のような課題がある。すなわち、デジタルカメラに入射する光の光線束の中心軸と、被投写面の法線と、が成す角度によっては撮像した画像（撮像画像）自体に歪みが生じてしまう。すると、実際の投写画像と撮像画像との間に歪み方に差が生じるため、歪んだ撮像画像を基にすると、良好な補正を行うことが出来ない。

具体的には、撮像画像は、被投写面上で生じている画面歪みに加え、デジタルカメラの撮像角度に起因した歪みも有している。そのため、デジタルカメラで撮像した画像において歪みのない矩形の投写画像を得るべく補正を行うと、デジタルカメラの撮像角度に起因する歪み分だけ余計に変更を加えることとなり、補正後の投写画像には歪みが残ってしまう。

また、被投写面が矩形の枠を有するスクリーンである場合には、スクリーンの枠の形状を基準として、枠形状に投写画像の形状を合わせるように補正をすることにより、矩形の投写画像とすることも考えられるが、被投写面に矩形の基準となるものが無い場合は補正が出来ない。

本発明はこのような事情に鑑みてなされたものであって、投写画像を撮像した撮像画像から、歪みのない投写画像を表示可能とするための補正情報を算出するための補正情報算出装置を提供することを目的とする。また、このような補正情報を用いて、１つの画像を複数台のプロジェクターに分割表示させるための画像データを作成する画像補正装置を提供することをあわせて目的とする。さらに、このような装置を備え、複数のプロジェクターを用いて１つの画像を良好に表示可能な画像表示システムを提供することをあわせて目的とする。そして、投写画像を撮像した撮像画像から、歪みのない投写画像を表示可能とするための補正情報を算出し画像の歪みを補正するための補正情報算出方法を提供することをあわせて目的とする。

上記の課題を解決するため、本発明の補正情報算出装置は、プロジェクターが有する画像形成素子上の画素の座標と、前記プロジェクターから被投写面に投写された画像上の画素の座標と、の対応関係を示す補正情報を算出する補正情報算出装置であって、複数の前記プロジェクターの各々から前記被投写面に投写された複数の投写画像を撮像した撮像画像から、第１の射影変換によって、前記複数の投写画像を前記被投写面の法線方向から撮像したときの画像として推定される推定画像を求める射影変換部と、前記画像形成素子に入力された前記投写画像の元データで規定される、前記画像形成素子上での複数の第１特徴点の座標と、前記推定画像において前記複数の第１特徴点と１対１で対応する複数の第２特徴点の座標と、に基づいて、前記画像形成素子上の画素の座標と、前記推定画像上の画素の座標と、の対応関係を示す補正情報を算出する算出部と、を有することを特徴とする。

この構成によれば、撮像角度に起因する撮像画像の歪みを解消した推定画像に基づいて画像形成素子の画素と、投写画像における画素との対応関係（補正情報）を求めるため、補正情報には撮像角度に起因する歪みが残らない。そのため、部分画像が連続した画像（全体画像）を高品質に表示させることが可能な補正情報を求めることができる装置となる。

本発明においては、前記射影変換部は、前記画像形成素子において前記複数の第１特徴点を示すデータが入力される画素の座標と、前記画像形成素子の有効表示領域の四隅に配置される画素の座標と、の相対位置に基づいて、前記撮像画像において前記複数の第１特徴点と１対１で対応する複数の第３特徴点の座標から、前記撮像画像における各プロジェクターの投写領域の四隅の座標を求め、前記撮像画像における前記投写領域の四隅の座標から規定される、複数の前記投写領域を合わせた全体投写領域の前記撮像画像における四隅の座標を、所定の矩形の頂点の座標に変換する射影変換を前記第１の射影変換とし、前記第１の射影変換により、前記複数の第３特徴点の座標を変換して、前記複数の第２特徴点の座標および前記推定画像を求めることが望ましい。

この構成によれば、理想的な投写表示状態の基準として、全体投写領域の四隅が矩形になる状態を選択し、撮像画像における全体投写領域の四隅を結ぶ形状が矩形となるような射影変換により撮像画像全体を変換することで、撮像画像を簡易的に理想的な投写表示状態に近づけることとしている。そのため、計算負荷が軽くなり補正情報の算出が容易となるとともに、撮像画像を補正する際の基準となるものが被投写面になくても所望の補正を行うことができる。

本発明においては、前記算出部は、前記複数の第１特徴点から選ばれる、互いを結んで描かれる形状が四角形となる４つの第１特徴点の座標と、前記４つの第１特徴点と１対１で対応する４つの第２特徴点の座標と、に基づいて、第２の射影変換に係る射影変換式を算出し、前記射影変換式に基づき、前記画像形成素子において、前記４つの第１特徴点を示すデータが入力される４つの画素を結んで描かれる四角形内の画素の座標と、前記推定画像において、前記４つの第２特徴点を結んで描かれる四角形内の画素の座標と、の対応関係を求めることが望ましい。
この構成によれば、被投写面の凹凸形状に起因した歪みや、プロジェクターの投写光学系の収差など、に起因して投写画像が歪んでいたとしても、算出される射影変換式に基づいて補正情報を求めることができる。

本発明においては、前記算出部は、前記補正情報として、前記画像形成素子上の画素の座標と、前記推定画像上の画素の座標と、の対応関係を示すルックアップテーブルを作成することが望ましい。
この構成によれば、予め座標同士の対応関係を算出したテーブルを作成しておくことで、都度の計算が不要となり、補正が容易となる。

本発明においては、前記撮像画像から前記複数の第３特徴点を抽出する特徴点抽出部を有することが望ましい。
この構成によれば、撮像画像から第３特徴点を抽出することができるため、使用者が第３特徴点を指定する必要がなく、容易に補正情報を算出することができる。

本発明においては、前記複数の投写画像を撮像し、前記撮像画像を示す撮像画像データを前記射影変換部に出力する撮像装置を有することが望ましい。
この構成によれば、画像を補正するための元データとなる撮像画像を得ることができる。

本発明においては、前記推定画像で規定される前記複数のプロジェクターの各投写領域を合わせた全体投写領域に含まれる最大の矩形領域を、前記複数のプロジェクターが協働して１つの画像を表示することが可能な有効投写領域として決定する有効投写領域決定部を有することが望ましい。
この構成によれば、投写領域のなかでも更に良好な表示が可能となる領域を選択することで表示に用いる領域を限定し、良好な画像表示を行わせることが可能となる。

また、本発明の画像補正装置は、複数のプロジェクターが協働して表示する１つの画像を示す画像データに基づいて、各プロジェクターが表示すべき前記画像の一部分を抽出し、抽出される前記画像の一部分である部分画像に対応した部分画像データを作成する画像補正装置であって、上述の補正情報算出装置と、前記画像データが入力される入力部と、前記画像形成素子上の画素と、前記推定画像で規定される前記複数のプロジェクターの各投写領域を合わせた全体投写領域に含まれる矩形領域上の画素と、の対応関係を求め、前記画像データから、前記矩形領域に対応した前記画像形成素子上の画素に入力されるべきデータを抽出し、抽出されるデータで規定される画素の座標を、前記補正情報算出装置で求められる補正情報を用いて変換し、前記部分画像データを作成する画像処理部と、前記部分画像データを前記複数のプロジェクターに出力する出力部と、を備えることを特徴とする。
この構成によれば、算出した補正情報を用い、入力される画像データで規定される像を忠実に再現する、歪みのない良好な全体画像を表示することが可能な部分画像データを作成する画像補正装置とすることができる。

また、本発明の画像表示システムは、複数のプロジェクターが協働して１つの画像を表示する画像表示システムであって、上述の画像補正装置と、前記画像補正装置で作成された前記部分画像データが入力され、該部分画像データに基づいて前記部分画像を投写する複数のプロジェクターと、を有することを特徴とする。
この構成によれば、歪みのない良好な全体画像を、大画面、高解像度、或いは高輝度の画像として表示することが可能な画像表示システムとなる。

また、本発明の正情報算出方法は、プロジェクターが有する画像形成素子上の画素の座標と、前記プロジェクターから被投写面に投写された画像上の画素の座標と、の対応関係を示す補正情報を求める補正情報算出方法であって、複数の前記プロジェクターの各々から前記被投写面に投写された複数の投写画像を撮像した撮像画像から、第１の射影変換によって、前記複数の投写画像を前記被投写面の法線方向から撮像したときの画像として推定される推定画像を求める工程と、前記画像形成素子に入力された前記投写画像の元データで規定される複数の第１特徴点の座標と、前記推定画像において前記複数の第１特徴点と１対１で対応する複数の第２特徴点の座標と、に基づいて、前記画像形成素子上の画素の座標と、前記推定画像上の画素の座標と、の対応関係を示す補正情報を算出する工程と、を有することを特徴とする。

この方法によれば、撮像角度に起因する撮像画像の歪みを解消した推定画像に基づいて画像データの補正情報を求めるため、補正情報には撮像角度に起因する歪みが含まれず、所望の画像を忠実に再現した投写画像を表示させることが可能な信頼性の高い補正情報を得ることができる。

本発明においては、推定画像を求める工程では、前記画像形成素子上の前記複数の第１特徴点を表示する画素の座標と、前記画像形成素子の周縁部の画素の座標と、の相対位置に基づいて、前記撮像画像において前記複数の第１特徴点と１対１で対応する複数の第３特徴点の座標から、前記撮像画像における各プロジェクターの投写領域の四隅の座標を求め、前記投写領域の四隅の座標から求められる、前記撮像画像において複数の前記投写領域を合わせた全体投写領域の前記撮像画像における四隅の座標を、所定の矩形の頂点の座標に変換する射影変換を前記第１の射影変換とし、前記第１の射影変換により、前記複数の第３特徴点の座標を変換して、前記複数の第２特徴点の座標および前記推定画像を求めることが望ましい。

この方法によれば、理想的な投写表示状態の基準として、全体投写領域の四隅が矩形になる状態を選択し、撮像画像における全体投写領域の四隅を結ぶ形状が矩形となるような射影変換により撮像画像全体を変換することで、撮像画像を簡易的に理想的な投写表示状態に近づけることとしている。そのため、計算負荷が軽くなり補正情報の算出が容易となるとともに、撮像画像を補正する際の基準となるものが被投写面になくても所望の補正を行うことができる。

本発明の実施形態に係る画像表示システムを示す概略図である。 各プロジェクターから投写される測定パターンを示す説明図である。 本発明の実施形態に係る画像表示システムの詳細な構成を示す説明図である。 画像表示システムを用いた画像表示における画像処理のフローチャートである。 画像表示システムを用いた表示時の画像処理を説明する説明図である。 画像表示システムを用いた表示時の画像処理を説明する説明図である。 画像表示システムを用いた表示時の画像処理を説明する説明図である。 画像表示システムを用いた表示時の画像処理を説明する説明図である。 画像表示システムを用いた表示時の画像処理を説明する説明図である。 画像表示システムを用いた表示時の画像処理を説明する説明図である。 画像表示システムを用いた表示時の画像処理を説明する説明図である。 画像表示システムを用いた表示時の画像処理を説明する説明図である。 画像表示システムを用いた表示時の画像処理を説明する説明図である。

以下、図１〜図１３を参照しながら、本発明の実施形態に係る補正情報算出装置、画像補正装置、画像表示システムおよび画像補正方法について説明する。なお、以下の全ての図面においては、図面を見やすくするため、各構成要素の寸法や比率などは適宜異ならせてある。

図１は、本実施形態の画像表示システムを示す概略図である。図に示すように、本実施形態の画像表示システム１は、複数台のプロジェクター２、画像処理装置３、補正情報算出装置４および撮像装置５を備えている。本発明の画像補正装置は、画像処理装置３および補正情報算出装置４を含んで構成されている。

プロジェクター２は、図１では４台配置されていることとしているが、数や配置についてはこれに限らない。ここでは、説明の便宜上、プロジェクター２として第１のプロジェクター２１、第２のプロジェクター２２、第３のプロジェクター２３、第４のプロジェクター２４が設けられていることとする。また、各プロジェクター２１〜２４は、投写画像を形成するための画像形成素子をそれぞれ有している。画像形成素子としては、液晶ライトバルブやＤＭＤ（デジタルミラーデバイス）等を用いることができる。

画像処理装置３は、信号源９から入力される画像データを、複数の部分画像データに分割し、各プロジェクターが担当する部分画像に対応した部分画像データを作成する。第１〜第４のプロジェクター２１〜２４は、画像処理装置３から入力された部分画像データに基づいて、被投写面Ｓ上に部分画像を表示する。

すなわち、画像処理装置３は、第１のプロジェクター２１に、部分画像データに基づいた第１の部分画像Ｐ１を被投写面Ｓ上に表示させる。同様に、第２のプロジェクター２２には第２の部分画像Ｐ２を、第３のプロジェクター２３には第３の部分画像Ｐ３を、第４のプロジェクター２４には第４の部分画像Ｐ４を、それぞれ表示させる。第１〜第４の部分画像Ｐ１〜Ｐ４は、互いの周縁部を重ね合わせて被投写面Ｓ上に表示され、全体として１つの投写画像Ｐを構成する。

また、画像処理装置３は、第１〜第４の部分画像Ｐ１〜Ｐ４の被投写面Ｓ上での相対位置や、被投写面Ｓの歪み等を検出可能とする測定パターンを表示させる。測定パターンは、例えば図２に示すような、特徴点（第１特徴点）を含んだ特徴点画像ＦＰが離散的に複数配列した画像であり、測定パターンに対応した測定用画像データ（元データ）に基づいて表示される。測定パターンにおける第１特徴点の座標は、測定用画像データによって規定される。この測定用画像データが第１〜第４のプロジェクター２１〜２４が有する画像形成素子に入力され、第１〜第４のプロジェクター２１〜２４は、測定用画像データに基づいて、測定パターンに対応する画像を投写画像として被投写面Ｓ上に表示する。

図２に示す測定パターンＭＰは、特徴点画像ＦＰが４×５の行列状に等間隔で配列したドットパターンであり、図中二点鎖線は測定パターンＭＰの外周を示している。特徴点画像ＦＰ間の間隔（ピッチ）Ｇ１は、測定用画像データで規定されるため既知の値である。同様に、行方向の最端部に配置された特徴点画像ＦＰと測定パターンＭＰの外周との間隔Ｇ２、列方向の最端部に配置された特徴点画像ＦＰと測定パターンＭＰの外周との間隔Ｇ３はいずれも既知となっている。

図２では、測定パターンＭＰとしてドットパターンを示したが、複数の特徴点を検出することができるならばこれに限らず、他にもクロスハッチ模様などの通常知られたパターンを用いることができる。また、測定パターンＭＰは、多角形の画像の頂点を第１特徴点として用いることとしても良い。さらには、複数種の異なる形状のパターンを組み合わせた画像や測定パターンとしても良い。測定パターンＭＰは、デジタルカメラのような撮像装置５によって撮像され、撮像画像のデータ（撮像画像データ）は補正情報算出装置４に入力される。

補正情報算出装置４は、撮像装置５から入力される測定パターンの撮像画像データから、各部分画像の被投写面Ｓ上での相対位置や被投写面Ｓの歪みを検出し、画像処理装置３にて部分画像データを作成する際の補正情報を算出する。より具体的には、補正情報算出装置４は、プロジェクター２１〜２４が有する画像形成素子上の画素の座標と、プロジェクターから被投写面Ｓに投写された画像上の画素の座標と、の対応関係を示す補正情報を算出する。画像処理装置３では、画像の分割とともに、補正情報算出装置４で算出された補正情報に基づいて画像の補正を行い、部分画像データを作成している。

このような画像表示システム１では、パーソナルコンピューターやＤＶＤプレイヤー等の信号源９から入力された画像データを複数に分割し、複数台のプロジェクター２で投写し、１つに結合した画像（全体画像）を表示する。そのため、１台のプロジェクターにより表示する投写画像と比較して、投写画像Ｐに含まれる画素数を増やすことができ、投写画像Ｐの解像度を高めることができる。このようにして解像度を高める場合、１台あたりのプロジェクターの画素数を増すことにより表示画像を高解像度とする場合と比べ、装置コストを低減することができる。

また、プロジェクターの台数だけ投写画像Ｐの表示に寄与する光の光量を増すことができるため、高輝度の投写画像Ｐを表示することができる。さらに、通常時はプロジェクター毎に独立して使用し、大画面、高解像度、或いは高輝度の画像を表示したい場合に、画像表示システムを構築して画像表示を行うことも可能である。

図３は、画像表示システム１の詳細な構成を示す説明図である。ここでは、主として画像処理装置３および補正情報算出装置４について説明する。

画像処理装置３は、信号源９から動画や静止画等の画像データが入力される画像入力部（入力部）３１と、補正情報算出装置４によって算出される補正情報に応じて画像データを補正し、適宜分割した部分画像データを作成する画像処理部３２と、部分画像データをプロジェクター２に出力する画像出力部（出力部）３３と、図２に示した測定パターンや、表示に用いる動画や静止画等の画像データを保存する画像保存部３４と、を有している。画像入力部３１には、通常のキャプチャーボード等を用い、画像処理部３２や画像出力部３３には、ＧＰＵ（Graphics Processing Unit）を用いることができる。

補正情報算出装置４は、撮像装置５で測定パターンを撮像した画像（撮像画像）の撮像画像データを用い、撮像画像データから特徴点（第３特徴点）を検出することで測定パターンを検出する測定パターン検出部（特徴点抽出部）４１と、検出した測定パターンを用い、撮像装置５の撮像角度に基づく歪みを打ち消すような射影変換の変換式を求め、撮像画像データを射影変換する射影変換部４２と、射影変換した第３特徴点に基づいて規定される、射影変換後の各プロジェクターの投写領域を合わせた全体投写領域において、全体画像を投写する投写領域（有効投写領域）を決定する投写領域決定部（有効投写領域決定部）４３と、各プロジェクターの投写領域に応じた補正情報を算出する算出部４４と、を有している。測定パターン検出部４１、射影変換部４２、投写領域決定部４３および算出部４４は、補正情報算出装置４が有するＣＰＵ（Central Processing Unit）に所望の計算処理を行わせるプログラムであり、補正情報算出装置４は、これらのプログラムを実行して所望の補正情報を算出する装置である。なお、「第３特徴点」とは、撮像画像において第１特徴点と１対１で対応する点である。

このような構成の画像表示システム１による画像表示について、図４から図１４を用いて順に説明する。図４は画像表示システム１を用いた画像表示における画像処理のフローチャートであり、図５〜図１４は、各画像処理を説明する説明図である。以下の説明においては、図４のフローチャートの流れに従い、必要に応じて図３で示した各構成の名称および符号を用いて各画像処理について説明し、あわせて図３で示した各構成の機能を説明する。

まず、画像表示システム１は、図２に示した測定パターンＭＰをプロジェクター２から被投写面Ｓに向けて投写する（ステップＳ１）。

図５に示すように、このとき第１のプロジェクター２１は、自らの投写領域１０１の全面に測定パターンを投写する。同様に、第２のプロジェクター２２は投写領域１０２の全面に、第３のプロジェクター２３は投写領域１０３の全面に、第４のプロジェクター２４は投写領域１０４の全面に、測定パターンを投写する。各測定パターンは、被投写面Ｓの表面の歪みに起因して歪んで表示される。なお、各プロジェクターのあおり投写による投写領域１０１〜１０４の台形歪みについては、予めプロジェクターの機能により補正されているものとする。なお、複数の投写領域１０１、１０２、１０３及び１０４の和集合として表される被投写面Ｓにおける領域を、「全体投写領域１００」とする。

被投写面Ｓに投写された測定パターンは、撮像装置５によって撮像され、測定パターンの撮像画像データが補正情報算出装置４に送られる（ステップＳ２、図６）。

撮像は、各プロジェクターから１台ずつ測定パターンを投写しそれぞれ個別に行うこととしても良く、各プロジェクターから測定パターンを同時に投写して、一度に撮像することとしても良い。また、複数台ずつ投写して撮像することとしても構わない。

図６は、撮像画像における全体投写領域を符号１１０で示している。このとき、図５に示すように、撮像装置５が被投写面Ｓの法線方向と交差する方向から被投写面Ｓの測定パターンを撮像する場合、撮像画像における全体投写領域１１０は、図６のように撮像装置５に近い方が広く撮像装置５から遠ざかるほど細くなるように歪んでいる。

次いで、測定パターン検出部４１は、撮像画像から複数の第３特徴点を抽出する。具体的には、測定パターン検出部４１は、撮像画像データから全体投写領域１００に表示される測定パターンに対応する第３特徴点を検出する（ステップＳ３）。

第３特徴点は、公知の方法を用いて撮像画像データを画像処理することにより求めることができる。例えば、撮像画像を二値化して撮像画像に含まれる特徴点画像の輪郭を抽出し、輪郭を数式で表すことにより求められる座標を第３特徴点の座標として求めることができる。特徴点画像がドットパターンである場合、ドットパターンの画像の輪郭（円）を式で表した場合の円の中心座標を第３特徴点の座標として求めることができ、また、特徴点画像がクロスハッチである場合、クロスハッチを式で表した場合における２本の線の交点座標を第３特徴点の座標として求めることができる。

次いで、射影変換部４２において、検出した第３特徴点を用いて撮像画像における各プロジェクターの投写領域を求める（ステップＳ４、図７）。なお、図７は撮像画像における各プロジェクターの投写領域１０１〜１０４を符号１１１〜１１４で示している。具体的には、第１の投写領域１１１が、投写領域１０１に対応する撮像画像上の領域である。同様に、第２の投写領域〜第４の投写領域１１２〜１１４が、投写領域１０２〜１０４にそれぞれ対応する撮像画像上の領域である。

例えば、図７に示すように、第１のプロジェクター２１に係る第１の投写領域１１１を、第１の投写領域１１１に表示されている測定パターンの四隅に対応した４つの第３特徴点１１１ａ〜ｄに基づいて求める。同様に、第２のプロジェクター２２に係る第２の投写領域１１２、第３のプロジェクター２３に係る第３の投写領域１１３、第４のプロジェクター２４に係る第４の投写領域１１４を、各投写領域の四隅の第３特徴点１１２ａ〜ｄ，１１３ａ〜ｄ，１１４ａ〜ｄから求める。

図２に示す測定用画像データにおいて、特徴点画像ＦＰ間のピッチや数が既知である。そのため、測定用画像データで規定される第１特徴点の座標を、撮像画像データに含まれる第３特徴点の座標に射影変換する射影変換式を求め、第１の投写領域１１１〜第４の投写領域１１４の四隅に近い第３特徴点の位置から補完演算することにより、第１の投写領域〜第４の投写領域１１１〜１１４における四隅の座標を求めることができる。この四隅の座標は、プロジェクターの画像形成素子の有効表示領域における四隅の画素の座標に対応する。求められる座標から各プロジェクターの投写領域１１１〜１１４を求めることができる。また、各投写領域１１１〜１１４の四隅の座標から、撮像画像における全体投写領域１１０の四隅１１０Ａ〜１１０Ｄの座標を求めることができる。

次いで、射影変換部４２において、撮像画像における全体投写領域１１０の四隅１１０Ａ〜１１０Ｄの座標を、四隅を結ぶ図形が矩形となるような射影変換を求める（ステップＳ５、図８）。

図８は、射影変換を示す模式図である。図８では、撮像画像における全体投写領域１１０の四隅１１０Ａ〜１１０Ｄの座標を、２次元の直交座標系であるｘｙ座標系で表し、これらの座標を射影変換した後の４点１２０Ａ〜１２０Ｄの座標を、２次元の直交座標系であるＸＹ座標系で表している。

４点１２０Ａ〜１２０Ｄの座標は、任意に定めることができるが、例えばこれらの点を結ぶ矩形が、画像表示システムで表示する画像のアスペクト比と同じアスペクト比となるように設定するといった一定の基準に基づいて定めると良い。

図８では、撮像画像における全体投写領域１１０に含まれる第３特徴点を座標（ｘ_ｉ，ｙ_ｉ）（ｉは自然数）で表し、射影変換後の各第２特徴点を座標（Ｘ_ｉ，Ｙ_ｉ）（ｉは自然数）で表している。射影変換前後で変数ｉが同じものは、それぞれ対応する特徴点であることを示している。なお、「第２特徴点」とは、後述する撮像画像において第３特徴点と１対１で対応する点である。また、上述したとおり、第３特徴点は、撮像画像において第１特徴点と１対１で対応する点である。従って、第２特徴点は、推定画像において第１特徴点と１対１で対応する点であるということもできる。

以下の説明では、撮像画像データのｘｙ座標系を撮像座標系、射影変換後のＸＹ座標系を変換座標系と称する。

射影変換の変換式は、以下の式（１）（２）で表すことができる。式中、ｘ，ｙは撮像座標系におけるｘ座標およびｙ座標、Ｘ，Ｙは変換座標系におけるＸ座標およびＹ座標、ａ〜ｈまでの文字は変換係数を示す。

上記式は、以下の式（３）（４）として表すことができる。

変換前の四隅１１０Ａ〜１１０Ｄの各座標が既知であり、変換後の４点の各座標を任意に設定することができるため、上記式（３）（４）に代入することで８次の連立方程式となり、ａ〜ｈの変換係数を求めることができる。図では、変数ａ〜ｈを求めた後の射影変換式をθとして示している。

次に、射影変換部４２において、ステップＳ４で求めた撮像座標系における各プロジェクターの投写領域を、射影変換式θを用いて変換座標系に射影変換する（ステップＳ６、図９）。

具体的には、図９に示すように、撮像座標系における各投写領域の第３特徴点１１１ａ〜ｄ，１１２ａ〜ｄ，１１３ａ〜ｄ，１１４ａ〜ｄのそれぞれを、射影変換式θを用いて変換座標系に射影変換し、変換座標系での第３特徴点１２１ａ〜ｄ，１２２ａ〜ｄ，１２３ａ〜ｄ，１２４ａ〜ｄとする。これにより、変換座標系における各プロジェクターの投写領域と、変換座標系における全体投写領域を求めることができる。図では、変換座標系における投写領域を符号１２１〜１２４で示し、全体投写領域を符号１２０で示している。

次に、射影変換部４２において、撮像画像データに含まれる残りの第３特徴点を、射影変換式θにて撮像座標系から変換座標系に変換する（ステップＳ７、図１０）。

本発明では、このような射影変換により得られる変換データを、撮像画像データから撮像装置の撮像角度に起因する画像歪みを除いた画像データとして用いる。換言すると、本発明では、ステップＳ７によって得られる変換データを、被投写面に投写された測定パターンを、被投写面の法線方向から撮像した撮像画像として推定される画像（推定画像）の画像データ（推定画像データ）とみなす。

したがって、推定画像の全体投写領域１２０に表示される測定パターンの第２特徴点の座標と、測定パターンの画像データにおける特徴点画像（特徴点）の座標と、を比較することにより、撮像角度に起因した歪みを除き、被投写面の表面凹凸等に起因する画像の歪みを検出することができる。また同時に、推定画像に含まれる第２特徴点の間隔から、各投写領域１２１〜１２４の周縁部における重畳領域の面積を検出することができる。なお、ステップＳ６とステップＳ７とは、同時に行うこととしても良い。

次に、投写領域決定部４３において、変換座標系における全体投写領域１２０に含まれる最大の矩形の領域を求める（ステップＳ８、図１１）。

全体投写領域１２０の輪郭形状は矩形となっていないため、全体投写領域１２０の中から輪郭形状が矩形の領域を抽出し、該矩形の領域を有効投写領域として表示に用いる。図１１では、全体投写領域１２０に含まれる最も大きい矩形領域を有効投写領域１２５としている。なお、ステップＳ７とステップＳ８とは、処理順が逆になっても良い。

次に、算出部４４において、図２に示す測定パターンにおける第１特徴点の座標（測定用画像データで規定される第１特徴点の座標）、および推定画像データにおける第２特徴点の座標から、補正情報を算出する（ステップＳ９、図１２）。

第１のプロジェクター２１の画像形成素子ＬＶ１に入力する測定用画像データにおいて近接した４つの第１特徴点Ａ１〜Ａ４を、推定画像の全体投写領域１２０において画像形成素子ＬＶ１に対応する、投写領域１２１に含まれる４つの第２特徴点Ｂ１〜Ｂ４に変換する射影変換式φを求める。これにより、画像形成素子ＬＶ１上の４つの第１特徴点Ａ１〜Ａ４を結んで描かれる四角形内の画素の座標と、推定画像の全体投写領域１２０において、４つの第２特徴点Ｂ１〜Ｂ４を結んで描かれる四角形内の画素の座標と、の対応関係（補正情報）を求めることができる。例えば、４つの第２特徴点Ｂ１〜Ｂ４に囲まれる画素１２９に対応する画素は、画像形成素子ＬＶ１上の画素１１９であることが分かる。

同様に、画像形成素子ＬＶ１における他の４つの特徴点の座標と、対応する４つの第２特徴点の座標と、から射影変換式を求め、対応関係を求める。また、各プロジェクターに入力される測定パターンの測定用画像データと、変換座標系の推定画像データとから、４つの特徴点に囲まれた他の領域に対する射影変換式を求め、各々の射影変換式の逆変換を行って、測定パターンに対応する補正座標系へ変換する複数の射影変換式を求める。

このようにして得られた射影変換式を用い、算出部４４は、画像形成素子ＬＶにおける座標と、補正座標系における座標と、を１対１に対応させた補正情報を算出し、複数の補正情報がまとめられたルックアップテーブルを作成する。

算出された補正情報は、画像処理装置３の画像処理部３２に出力される。補正情報算出装置４と画像処理装置３との間はデータ通信用のケーブルで接続されていても良く、無線通信で接続されていても良い。補正情報算出装置４と画像処理装置３とは一体となっていても良く別体でも良い。また、算出された補正情報を各種の記録媒体に記録したのち、該記録媒体を介して補正情報を画像処理装置３（画像処理部３２）に出力することとしても構わない。

画像表示システム１は、こうして求められた補正情報を用い、入力される画像データに基づいて画像を表示する（ステップＳ１２、図１３）。

まず、画像処理部３２において、画像入力部３１または画像保存部３４から画像処理部３２に入力された画像データ１４０から、各プロジェクターによって表示する部分画像を抽出した抽出データ１４１〜１４４を作成する（図１３（ａ））。

抽出データ１４１〜１４４は、各プロジェクターの画像形成素子上の画素と、推定画像の全体投写領域１２０に含まれる有効投写領域１２５上の画素と、の対応関係から、画像形成素子のうち画像表示に用いられる領域を求め、該領域に入力されるデータを画像データ１４０から抽出して作成する。

次に、画像処理部３２において、補正情報算出装置４で算出した補正情報を用いて、各抽出データ１４１〜１４４の座標を、各プロジェクター２１〜２４の画像形成素子ＬＶ１〜ＬＶ４における座標に対応した部分画像データ１５１〜１５４に変換する。変換された部分画像データ１５１〜１５４は、画像出力部３３を介して各プロジェクターの画像形成素子ＬＶ１〜ＬＶ４に入力される（図１３（ｂ））。図では、変換された部分画像データにより示される部分画像４は、各プロジェクターの画像形成素子ＬＶ１〜ＬＶ４の一部を用いて表示されることとして示している。

このような部分画像データ１５１〜１５４を各プロジェクターの画像形成素子に入力し、被投写面Ｓに投写すると、補正情報を用いた変換による画像データ１４０からの歪みが、被投写面Ｓに投写されることによる歪みと相殺され、所望する矩形の投写画像Ｐが得られる（図１３（ｃ））。
本実施形態の画像表示システム１では、以上のようにして画像表示を行う。

以上のような構成の画像表示システム１によれば、歪みのない良好な全体画像を表示することが可能となる。また、以上のような補正情報算出方法では、撮像角度に起因する撮像画像の歪みを解消した推定画像に基づいて画像データの補正情報を求めるため、補正後の画像には撮像角度に起因する歪みが残らず、高品質な投写画像を表示させることができる。

さらに、以上のような構成の補正情報算出装置では、全体画像を高品質に表示させることが可能な補正情報を算出することができ、また以上のような構成の画像補正装置では、この補正情報を用いて歪みのない良好な全体画像を表示することが可能な部分画像データを作成することができる。

なお、本実施形態においては、撮像装置５による被投写面への撮像角度を求めることなく、撮像画像に含まれる第１特徴点を結ぶ形状が矩形になるような射影変換式を求めることしたが、撮像装置による撮像角度を求めることにより、被投写面Ｓの法線方向から撮像された場合に相当する推定画像の推定画像データを算出することとしても構わない。この場合には、撮像角度と撮像画像データと投射画像の元データにより定まる座標変換を、第１の射影変換とする。

また、本実施形態においては、互いを結ぶ形状が四角形となる４つの第１特徴点の座標と、対応する４つの第２特徴点の座標と、から射影変換式を求めて補正情報を求めることとしたが、これに限らない。例えば、被投写面には歪みの原因となる凹凸が無く、推定画像から求められる各投写領域の相対位置が、互いにある方向にずれているだけであれば、該方向に沿って投写画像を平行移動させる平行移動量を補正情報として用いることができる。同様の考え方から、煽り角度や拡大率または縮小率を補正情報として用いることも可能である。

以上、添付図面を参照しながら本発明に係る好適な実施の形態例について説明したが、本発明は係る例に限定されないことは言うまでもない。上述した例において示した各構成部材の諸形状や組み合わせ等は一例であって、本発明の主旨から逸脱しない範囲において設計要求等に基づき種々変更可能である。

１…画像表示システム、２、２１〜２４…プロジェクター、３…画像処理装置、３１…画像入力部（入力部）、３２…画像処理部、３３…画像出力部（出力部）、４…補正情報算出装置、４１…測定パターン検出部（特徴点抽出部）、４２…射影変換部、４３…投写領域決定部（有効投写領域決定部）、４４…算出部、５…撮像装置、ＦＰ…特徴点、Ｓ…被投写面、

Claims (11)

1. プロジェクターが有する画像形成素子上の画素の座標と、前記プロジェクターから被投写面に投写された画像上の画素の座標と、の対応関係を示す補正情報を算出する補正情報算出装置であって、
   複数の前記プロジェクターの各々から前記被投写面に投写された複数の投写画像を撮像した撮像画像から、第１の射影変換によって、前記複数の投写画像を前記被投写面の法線方向から撮像したときの画像として推定される推定画像を求める射影変換部と、
   前記画像形成素子に入力された前記投写画像の元データで規定される、前記画像形成素子上での複数の第１特徴点の座標と、前記推定画像において前記複数の第１特徴点と１対１で対応する複数の第２特徴点の座標と、に基づいて、前記画像形成素子上の画素の座標と、前記推定画像上の画素の座標と、の対応関係を示す補正情報を算出する算出部と、を有することを特徴とする補正情報算出装置。
2. 前記射影変換部は、前記画像形成素子において前記複数の第１特徴点を示すデータが入力される画素の座標と、前記画像形成素子の有効表示領域の四隅に配置される画素の座標と、の相対位置に基づいて、前記撮像画像において前記複数の第１特徴点と１対１で対応する複数の第３特徴点の座標から、前記撮像画像における各プロジェクターの投写領域の四隅の座標を求め、
   前記撮像画像における前記投写領域の四隅の座標から規定される、複数の前記投写領域を合わせた全体投写領域の前記撮像画像における四隅の座標を、所定の矩形の頂点の座標に変換する射影変換を前記第１の射影変換とし、
   前記第１の射影変換により、前記複数の第３特徴点の座標を変換して、前記複数の第２特徴点の座標および前記推定画像を求めることを特徴とする請求項１に記載の補正情報算出装置。
3. 前記算出部は、前記複数の第１特徴点から選ばれる、互いを結んで描かれる形状が四角形となる４つの第１特徴点の座標と、前記４つの第１特徴点と１対１で対応する４つの第２特徴点の座標と、に基づいて、第２の射影変換に係る射影変換式を算出し、
   前記射影変換式に基づき、前記画像形成素子において、前記４つの第１特徴点を示すデータが入力される４つの画素を結んで描かれる四角形内の画素の座標と、前記推定画像において、前記４つの第２特徴点を結んで描かれる四角形内の画素の座標と、の対応関係を求めることを特徴とする請求項１または２に記載の補正情報算出装置。
4. 前記算出部は、前記補正情報として、前記画像形成素子上の画素の座標と、前記推定画像上の画素の座標と、の対応関係を示すルックアップテーブルを作成することを特徴とする請求項１から３のいずれか１項に記載の補正情報算出装置。
5. 前記撮像画像から前記複数の第３特徴点を抽出する特徴点抽出部を有することを特徴とする請求項１から４のいずれか１項に記載の補正情報算出装置。
6. 前記複数の投写画像を撮像し、前記撮像画像を示す撮像画像データを前記射影変換部に出力する撮像装置を有することを特徴とする請求項１から５のいずれか１項に記載の補正情報算出装置。
7. 前記推定画像で規定される前記複数のプロジェクターの各投写領域を合わせた全体投写領域に含まれる最大の矩形領域を、前記複数のプロジェクターが協働して１つの画像を表示することが可能な有効投写領域として決定する有効投写領域決定部を有することを特徴とする請求項１から６のいずれか１項に記載の補正情報算出装置。
8. 複数のプロジェクターが協働して表示する１つの画像を示す画像データに基づいて、各プロジェクターが表示すべき前記画像の一部分を抽出し、抽出される前記画像の一部分である部分画像に対応した部分画像データを作成する画像補正装置であって、
   請求項１から７のいずれか１項に記載の補正情報算出装置と、
   前記画像データが入力される入力部と、
   前記画像形成素子上の画素と、前記推定画像で規定される前記複数のプロジェクターの各投写領域を合わせた全体投写領域に含まれる矩形領域上の画素と、の対応関係を求め、前記画像データから、前記矩形領域に対応した前記画像形成素子上の画素に入力されるべきデータを抽出し、抽出されるデータで規定される画素の座標を、前記補正情報算出装置で求められる補正情報を用いて変換し、前記部分画像データを作成する画像処理部と、
   前記部分画像データを前記複数のプロジェクターに出力する出力部と、を備えることを特徴とする画像補正装置。
9. 複数のプロジェクターが協働して１つの画像を表示する画像表示システムであって、
   請求項８に記載の画像補正装置と、
   前記画像補正装置で作成された前記部分画像データが入力され、該部分画像データに基づいて前記部分画像を投写する複数のプロジェクターと、を有することを特徴とする画像表示システム。
10. プロジェクターが有する画像形成素子上の画素の座標と、前記プロジェクターから被投写面に投写された画像上の画素の座標と、の対応関係を示す補正情報を求める補正情報算出方法であって、
    複数の前記プロジェクターの各々から前記被投写面に投写された複数の投写画像を撮像した撮像画像から、第１の射影変換によって、前記複数の投写画像を前記被投写面の法線方向から撮像したときの画像として推定される推定画像を求める工程と、
    前記画像形成素子に入力された前記投写画像の元データで規定される複数の第１特徴点の座標と、前記推定画像において前記複数の第１特徴点と１対１で対応する複数の第２特徴点の座標と、に基づいて、前記画像形成素子上の画素の座標と、前記推定画像上の画素の座標と、の対応関係を示す補正情報を算出する工程と、を有することを特徴とする補正情報算出方法。
11. 推定画像を求める工程では、前記画像形成素子上の前記複数の第１特徴点を表示する画素の座標と、前記画像形成素子の周縁部の画素の座標と、の相対位置に基づいて、前記撮像画像において前記複数の第１特徴点と１対１で対応する複数の第３特徴点の座標から、前記撮像画像における各プロジェクターの投写領域の四隅の座標を求め、
    前記投写領域の四隅の座標から求められる、前記撮像画像において複数の前記投写領域を合わせた全体投写領域の前記撮像画像における四隅の座標を、所定の矩形の頂点の座標に変換する射影変換を前記第１の射影変換とし、
    前記第１の射影変換により、前記複数の第３特徴点の座標を変換して、前記複数の第２特徴点の座標および前記推定画像を求めることを特徴とする請求項１０に記載の補正情報算出方法。

Images