JP2014134611A - 幾何歪み補正装置、プロジェクタ装置、及び幾何歪み補正方法 - Google Patents

Abstract

【課題】被投影面と撮像手段との位置関係に関わらず、被投影面に投影される画像の幾何歪みを精度良く補正できる幾何歪み補正装置を提供できる。
【解決手段】 幾何歪み補正装置５０は、投影部１６からスクリーン面に投影された、ドットパターンを含むパターンを部分的にオーバーラップさせて分割撮像可能な撮像部１８と、分割撮像されて得られた複数の画像に基づいて、ドットパターンの幾何歪み情報を取得する幾何歪み情報取得手段２３と、取得された幾何歪み情報に基づいて、スクリーン面に投影される画像の幾何歪みを補正する幾何歪み補正手段２５と、を備えている。
【選択図】図４

Description

本発明は、幾何歪み補正装置、プロジェクタ装置、及び幾何歪み補正方法に係り、更に詳しくは、投影手段から被投影面に投影される画像の幾何歪みを補正する幾何歪み補正装置、該幾何歪み補正装置を備えるプロジェクタ装置、及び前記画像の幾何歪みを補正する幾何歪み補正方法に関する。

従来、投影手段（例えばプロジェクタ）から被投影面（例えばスクリーンの表面）に投影される画像の、被投影面の歪みに起因する幾何歪みを補正する技術が知られている（例えば非特許文献１参照）。

この技術では、投影手段から被投影面に投影されたパターンを撮像手段（例えばカメラ）で撮像し、撮像されたパターンの幾何歪み情報に基づいて、投影手段から被投影面に投影される画像の幾何歪みを補正している。

しかしながら、非特許文献１に開示されている技術では、被投影面と撮像手段との位置関係によっては、被投影面に投影される画像の幾何歪みを精度良く補正できなかった。

本発明は、投影手段から被投影面に投影される画像の幾何歪みを補正する幾何歪み補正装置であって、前記投影手段から前記被投影面に投影された、所定パターンを含むパターンを部分的にオーバーラップさせて分割撮像可能な撮像手段と、前記パターンが分割撮像されて得られた複数の画像に基づいて、前記所定パターンの幾何歪み情報を取得する幾何歪み情報取得手段と、取得された前記幾何歪み情報に基づいて、前記被投影面に投影される画像の幾何歪みを補正する幾何歪み補正手段と、を備える幾何歪み補正装置である。ここで、「分割撮像」とは、パターンの複数の領域を個別に撮像することを意味する。

本発明によれば、被投影面と撮像手段との位置関係に関わらず、被投影面に投影される画像の幾何歪みを精度良く補正できる。

一実施形態のプロジェクタ装置の構成を概略的に示す図である。 プロジェクタ装置の投影部を説明するための図である。 プロジェクタ装置の撮像部を説明するための図である。 プロジェクタ装置の制御の構成を概略的に示すブロック図である プロジェクタ装置の動作の一例を説明するためのフローチャートである。 幾何歪み情報取得処理を説明するためのフローチャートである。 図７（Ａ）は、中央領域撮像用のパターンＡを示す図であり、図７（Ｂ）は、＋Ｘ側領域及び−Ｘ側領域撮像用のパターンＢを示す図である。 図８（Ａ）は、中央のステレオカメラの＋Ｘ側レンズを介して撮像されたパターンＡの画像を示す図であり、図８（Ｂ）は、中央のステレオカメラの−Ｘ側レンズを介して撮像されたパターンＡの画像を示す図である。 図９（Ａ）は、ドットパターンＤＰの各ドットの輝度分布を示す図であり、図９（Ｂ）は、ドットパターンＤＰの各ドットの断面の輝度分布を示す図である。 ステレオ測距処理を説明するためのフローチャートである。 図１１（Ａ）は、ドットパターンＤＰの各ドットのピーク画素を中心とする水平５画素及び垂直５画素を示す図であり、図１１（Ｂ）は、各ステレオカメラで撮像された２つの画像の対応するドットに対する５点パラボラフィッティングの一例を説明するための図である。 １２（Ａ）は、パターンＡの中央領域が撮像された画像の複数のドットの３次元座標を示す図であり、図１２（Ｂ）は、パターンＢの−Ｘ側領域が撮像された画像の複数のドットの３次元座標を示す図である。 ３次元位置情報取得処理を説明するためのフローチャート（その１）である。 ３次元位置情報取得処理を説明するためのフローチャート（その２）である。 ２つのステレオカメラで撮像された同一の複数のドットの３次元座標を統合する手順を説明するための図である。 ドットパターンＤＰの全ドットの中央領域撮像の座標系における３次元座標を示す図である。 位置情報変換処理を説明するためのフローチャートである。 図１８（Ａ）及び図１８（Ｂ）は、それぞれ中央領域撮像の座標系の奥行方向（ｚ_ｍ方向）をスクリーン面に直交する方向に合わせる変換の一例を説明するための図（その１及びその２）である。 ドットパターンＤＰの全ドットのＸＹ平面上における２次元座標を示す図である。 幾何歪み補正情報生成処理を説明するためのフローチャートである。 図２１（Ａ）は、ドットパターンＤＰを示す図であり、図２１（Ｂ）は、投影コンテンツの原画像の一例を示すであり、図２１（Ｃ）は、細線格子パターン上に投影コンテンツの画像をマップした状態を示す図である。 図２２（Ａ）〜図２２（Ｃ）は、ドットパターンＤＰ上の所定点の座標の、マップされた投影コンテンツ画像上の位置に対応する等倍原画像上の座標への変換の一例を説明するための図である。 幾何歪み補正処理を説明するためのフローチャートである。 プロジェクタ装置の作用効果を説明するための図である。 図２５（Ａ）は、変形例１のプロジェクタ装置を示す図であり、図２５（Ｂ）は、変形例２のプロジェクタ装置を示す図である。 変形例３のプロジェクタ装置を説明するための図である。 変形例４のプロジェクタ装置を説明するための図である。 変形例５のプロジェクタ装置を説明するための図である。

以下、一実施形態を図１〜図２４に基づいて説明する。図１には、一実施形態に係るプロジェクタ装置１０が側面図にて示されている。以下では、図１に示される、鉛直方向をＹ軸方向とするＸＹＺ３次元直交座標系を用いて説明する。

プロジェクタ装置１０は、一例として、図１に示されるように、吊り下げ型のスクリーンＳの−Ｙ側かつ−Ｚ側の斜め下方に近接して配置されている。ここでは、スクリーンＳは、Ｘ軸方向を長手方向とする矩形状であり、アスペクト比が例えば４：３である。

プロジェクタ装置１０は、一例として、筐体１２、投影部１６（図２参照）、撮像部１８（図３参照）、制御部２０（図４参照）、操作パネル（不図示）などを備えている。

筐体１２は、一例として、略直方体形状の箱形部材から成り、＋Ｙ側の壁に光を透過させる光透過窓部材２２が設けられている。

投影部１６は、筐体１２内に収容されており、画像情報に応じて変調された光をスクリーンＳの表面（スクリーン面）に投射することで、該スクリーン面に画像を投影する。

投影部１６は、図２に示されるように、一例として、光源８０、光分割手段としてのカラーホイール８２、光均一化手段としてのライトトンネル８４、光屈折手段としての２つのコンデンサレンズ８６、８８、光反射手段としての２つのミラー９０、９２、光変調手段としてのＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）９４、光広角化及び結像手段としての投射レンズ９６、光反射手段としてのミラー９７、光広角化及び反射手段としての自由曲面ミラー９８を含む。

投射レンズ９６は、Ｙ軸方向を光軸方向とし、該光軸方向に沿って所定間隔で配置された複数枚のレンズエレント（不図示）により構成されている。ＤＭＤ９４は、上記画像情報に応じて制御部２０によって制御される。なお、図２では、光源８０からミラー９７に至る光の経路が、矢印により示されている。

投影部１６では、光源８０から射出された光は、カラーホイール８２に入射する。カラーホイール８２に入射した光は、３原色の各色光に時系列的に分割されてカラーホイール８２から順次取り出される。カラーホイール８２から取り出された各色光は、ライトトンネル８４に入射し、その輝度分布が均一化されて、コンデンサレンズ８６、８８に順次入射する。コンデンサレンズ８６、８８に入射した各色光は、結像面が調整された後、ミラー９０、９２で順次反射されて、ＤＭＤ９４に入射する。ＤＭＤ９４に入射した各色光は、上記画像情報に応じてＤＭＤ９４で変調されつつ反射されて、投射レンズ９６に順次入射する。投射レンズ９６に入射した各色光は、広角化された後、ミラー９７で反射されて、自由曲面ミラー９８に順次入射する。自由曲面ミラー９８に入射した各色光は、自由曲面ミラー９８で広角化されつつ反射され、光透過窓部材２２を介して筐体１２の＋Ｙ側かつ＋Ｚ側の斜め上方に（スクリーンＳに向けて）順次投射される（図１参照）。この結果、スクリーン面にカラー画像又はモノクロ画像が投影される。

上述した投影部１６は、投射される光の焦点位置が近くなるように、すなわち短焦点に構成され、短い投射距離で、スクリーンＳに大きなカラー（又はモノクロ）画像を投影することができる。ここで、「投影部１６が短焦点に構成される」とは、投影部１６の光学系が、屈折力を有するミラー（例えば上記自由曲面ミラー９８）を含むことを意味する。このミラーが有する屈折力は正でも負でも良い。投影部１６の光学系が屈折力を有するミラーを含むことで、光透過窓部材２２からスクリーンＳまでの距離が例えば５０センチ以内であっても８０インチ程度の大きな投影像を表示することが可能である。

このような短焦点型のプロジェクタ装置１０は、スクリーンＳに近接する位置から画像を投影できるため、プロジェクタ装置１０とスクリーンＳとの間に人や物が介在することが極力防止され、スクリーンＳへの画像の投影が阻害されることを極力防止できる。

撮像部１８は、一例として、図３に示されるように、筐体１２の＋Ｙ側の面上にＸ軸方向（スクリーンＳの長手方向）に並べて設置された３つのステレオカメラ２４ａ、２４ｂ、２４ｃを含む。各ステレオカメラの２眼、すなわち２つのレンズは、互いにＸ軸方向に離間し、それぞれ＋Ｙ側かつ＋Ｚ側の斜め上方を向いている（図１参照）。また、各ステレオカメラは、撮像範囲が投影部１６から投射される光の光路に近接するように配置されている。ここでは、各ステレオカメラの水平及び鉛直方向の視野角は、それぞれ例えば９０°〜１５０°程度とされている。なお、図１では、中央のステレオカメラ２４ｂ及び−Ｘ側のステレオカメラ２４ｃは、＋Ｘ側のステレオカメラ２４ａの−Ｘ側に隠れている。図３では、光透過窓部材２２の図示が省略されている。

撮像部１８は、一例として、投影部１６からスクリーン面に投影されるパターンを部分的にオーバーラップさせて分割撮像可能である。ここで、「分割撮像」とは、上記パターンの複数の領域を個別に撮像することを意味する。

詳述すると、撮像部１８は、＋Ｘ側のステレオカメラ２４ａで上記パターンの＋Ｘ側領域を撮像可能であり、−Ｘ側のステレオカメラ２４ｃで上記パターンの−Ｘ側領域を撮像可能であり、中央のステレオカメラ２４ｂで上記パターンの、上記＋Ｘ側領域及び−Ｘ側領域のいずれとも一部がオーバーラップする中央領域を撮像可能である。すなわち、各ステレオカメラは、２眼を介して上記パターンの対応する領域を撮像し、該領域の２つの画像を取得可能である。各ステレオカメラで取得された２つの画像は、制御部２０に送られる。

ところで、短焦点型のプロジェクタ装置は、スクリーンの近くから画像を投影するため、スクリーンの僅かな歪みにより、投影画像を正面から見たときに多数のうねりがある大きな歪みが見えてしまう。すなわち、投影画像に正面視での大きな幾何歪みが発生し、画質が劣化してしまう（図３参照）。

従来のプロジェクタ装置の中には、正面からずれた方向から画像を投影した場合に画像全体が台形状に歪む台形歪みを補正する機能を有しているものがある。しかし、短焦点型のプロジェクタ装置でのスクリーンの歪みに起因する投影画像の幾何歪みは、画像全体の台形歪みの補正では補正できない非線形な歪みである。すなわち、この幾何歪みは、スクリーン上における位置によってうねり方が異なる不規則な歪みである（図３参照）。

そこで、プロジェクタ装置１０では、投影画像の正面視での幾何歪みを補正する幾何歪み補正装置５０が撮像部１８及び制御部２０を含んで構成されている（図４参照）。

制御部２０は、一例として、図４に示されるように、画像情報入力部２１、幾何歪み情報取得手段２３、幾何歪み補正手段２５、フレームメモリ２７、上記パターンが格納されたフラッシュメモリ２９、プロジェクタ装置１０全体を統括的に制御するＣＰＵ（不図示）などを含む。

幾何歪み情報取得手段２３は、ステレオ測距部（３次元位置情報検出部）、３次元位置情報取得部、位置情報変換部などを含む。幾何歪み補正手段２５は、幾何歪み補正情報生成部、幾何歪み補正パラメータ設定部、幾何歪み補正部などを含む。

次に、プロジェクタ装置１０の動作の一例を、図４及び図５のフローチャートを適宜参照しつつ説明する。以下に説明する一連の動作は、上記ＣＰＵによって統括的に制御される。画像情報入力部２１には、画像情報を出力する例えばパソコン等の外部機器が接続されている。また、投影部１６は、幾何歪み補正手段２５とフラッシュメモリ２９との間で接続を切り替え可能であり、当初、幾何歪み補正手段２５に接続されている。そして、ユーザは、上記操作パネルにおいて、幾何歪み補正モードを選択できるようになっている。

先ず、プロジェクタ装置１０に電源が投入されると、光源８０が点灯されるとともに、上記外部機器からの画像情報が画像情報入力部２１及び幾何歪み補正手段２５を介して投影部１６に送られる。この結果、幾何歪みが補正されていない画像がスクリーンＳ上に投影される。

そこで、ユーザによって幾何歪み補正モードが選択されると（ステップＳ１）、投影部１６に対する接続が幾何歪み補正手段２５からフラッシュメモリ２９に切り替えられ（ステップＳ２）、上記画像情報に代えて、フラッシュメモリ２９に格納された上記パターンが投影部１６に送られる。この結果、スクリーンＳ上に上記パターンが投影される。ここでは、フラッシュメモリ２９には、上記パターンとして、中央領域撮像用のパターンＡ、並びに＋Ｘ側領域及び−Ｘ側領域撮像用のパターンＢが格納されている。パターンＡ及びＢはスクリーンＳ上に順次投影される。パターンＡ及びＢは、同一のドットパターンＤＰ（所定パターン）を含んでいる。なお、パターンＡ及びＢについては、後に詳述する。

次いで、スクリーンＳ上に投影されたパターンＡの中央領域が中央のステレオカメラ２４ｂの２眼を介して撮像され、スクリーンＳ上に投影されたパターンＢの＋Ｘ側の領域が＋Ｘ側のステレオカメラ２４ａの２眼を介して撮像され、該パターンＢの−Ｘ側領域が−Ｘ側のステレオカメラ２４ｃの２眼を介して撮像される（ステップＳ３）。各ステレオカメラで撮像された２つの画像は、幾何歪み情報取得手段２３に送られる。

次いで、幾何歪み情報取得手段２３によってドットパターンＤＰの幾何歪み情報が取得された（ステップＳ４）後、取得された幾何歪み情報に基づいて、幾何歪み補正情報生成部によって幾何歪み補正情報（幾何歪み補正パラメータ）が生成され（ステップＳ５）、生成された幾何歪み補正パラメータが幾何歪み補正パラメータ設定部によって幾何歪み補正部に設定される（ステップＳ６）。ここで、幾何歪み補正パラメータは、ドットパターンＤＰの幾何歪みと逆の変形を外部機器からの原画像に加えるためのパラメータである。

次いで、設定された幾何歪み補正パラメータに基づいて幾何歪み補正部によってフレームメモリ２７上で原画像の各フレームの幾何歪みが補正され（ステップＳ７）、投影部１６に対する接続がフラッシュメモリ２９から幾何歪み補正手段２５に切り替えられる（ステップＳ８）。

このとき、外部機器からの画像情報が、画像情報入力部２１を介して幾何歪み補正手段２５に送られ、幾何歪みが補正され、投影部１６に送られる。この結果、幾何歪みが補正された画像（検出された幾何歪みを逆に変形させた画像、すなわち幾何歪みが相殺された画像）がスクリーンＳに投影される。

次に、幾何歪み情報取得手段２３による幾何歪み情報取得処理（上記ステップＳ４）について、図６のフローチャートを適宜参照しつつ説明する。ここで、ドットパターンＤＰは、図７（Ａ）及び図７（Ｂ）に示されるように、一例として、１０２４×７６８画素で構成される矩形の黒ベタパターン上にマトリクス状に等間隔で（例えば縦横に１６画素ピッチで）並ぶ６３×４７個の実質的に同一の白いドットで構成されている。ドットパターンＤＰは、スクリーンＳとほぼ同じ大きさである。

なお、スクリーンの歪みは非線形ではあるが、例えば布等のようななめらかなたわみなので、ドットパターンＤＰを構成する複数のドットのピッチ（周期）を１６画素程度とすることで、スクリーンの歪みをほぼ補正可能であることが、先に挙げた非特許文献１「投影画像の幾何補正に関する実験的検討」（２００７.５．１８．計測自動制御学会東北支部 第２３５回研究集会 資料２３５−５、高橋。沼徳、青木、近藤）に実験的に示されている。

ドットパターンＤＰの各ドットは、一例として、正方形状であり、図９（Ａ）に示されるような、中心画素が最も明るい（例えば輝度値１４０〜１６０）ピラミッド状の輝度のグラデーション（分布）を有している。

ところで、スクリーンＳに投影されたドットパターンＤＰの、各ステレオカメラで撮像される領域にはドットパターンＤＰ全体は含まれないので、該領域の各ドットがドットパターンＤＰにおけるどのドットであるか（縦横何番目のドットであるか）を容易に判別することができない（図８（Ａ）及び図８（Ｂ）参照）。

そこで、パターンＡは、ドットパターンＤＰを構成する縦横に等間隔に並ぶ複数のドットに加えて、中央のステレオカメラ２４ｂの２眼（２つのレンズ）の共通視野内に入り、ドットパターンＤＰの中央領域の各ドットの３次元位置情報を取得するための基準パターンＢＰ_ｍを中央部に有している（図７（Ａ）参照）。

また、パターンＢは、ドットパターンＤＰを構成する縦横に等間隔に並ぶ複数の白ドットに加えて、＋Ｘ側領域のステレオカメラ２４ａの２眼（２つのレンズ）の共通視野内に入り、ドットパターンＤＰの＋Ｘ側領域の各ドットの３次元位置情報を取得するための基準パターンＢＰ_＋を＋Ｘ側部に有している（図７（Ｂ）参照）。

また、パターンＢには、ドットパターンＤＰを構成する縦横に等間隔に並ぶ複数の白ドット及び基準パターンＢＰ_＋に加えて、−Ｘ側領域のステレオカメラ２４ｃの２眼（２つのレンズ）の共通視野内に入り、ドットパターンＤＰの−Ｘ側領域の各ドットの３次元位置情報を取得するための基準パターンＢＰ₋を−Ｘ側部に有している（図７（Ｂ）参照）。

すなわち、各ステレオカメラによってパターンＡ又はＢの対応する領域が撮像される際には、該ステレオカメラの２眼の共通視野内に、対応する一の基準パターンのみが入るようになっている。なお、ステレオカメラの２眼の共通視野内に、対応する一の基準パターン以外の基準パターンが入ると、基準パターンを検出するときに混同するおそれがある。

ここでは、一例として、３つの基準パターンＢＰ_ｍ、ＢＰ_＋、ＢＰ₋は、実質的に同一のパターンである。各基準パターンは、一例として、十字の交点及び４つの端点に位置する５つの白ドットで構成されている。基準パターンを構成する５つの白ドットは、図７（Ａ）〜図８（Ｂ）において、丸印で囲まれている。そして、各基準パターンを構成する白ドットは、ドットパターンＤＰの複数のドットのうちの隣接する４つのドットで４つの頂点が構成される正方形の中心に位置しており、該４つのドットと共にサイコロの５の目を形成している。ここでは、各基準パターンを構成する白ドットとして、例えば２×２画素で構成される輝度値２５５のベタの白ドットが用いられている。

そこで、先ず、各ステレオカメラによって撮像されたパターンＡ又はＢの２つの画像から、三角測量の原理を用いたステレオ測距により、ドットパターンＤＰの＋Ｘ側、中央及び−Ｘ側の各領域の全ドットの３次元座標（３次元位置情報）を求める（ステップＳ４−１）。以下では、ドットパターンＤＰの＋Ｘ側、中央及び−Ｘ側の各領域を撮像領域とも称する。

ステレオ測距を行う際には、基準パターンを基準として、各ステレオカメラの２眼を介して撮像された２つの画像におけるドットの対応付けが行われる。

具体的には、中央のステレオカメラ２４ｂで撮像されたパターンＡの中央領域の２つの画像には、基準パターンＢＰ_ｍが含まれている（図８（Ａ）及び図８（Ｂ）参照）。そこで、基準パターンＢＰ_ｍを検出し、該基準パターンＢＰ_ｍを基準として、パターンＡの中央領域の２つの画像の各ドットの、ドットパターンＤＰ全体における位置を同定する。この結果、パターンＡの中央領域の２つの画像のドットの対応付けを行うことができる。

また、＋Ｘ側のステレオカメラ２４ａで撮像されたパターンＢの＋Ｘ側領域の２つの画像には、基準パターンＢＰ_＋が含まれている。そこで、基準パターンＢＰ_＋を検出し、該基準パターンＢＰ_＋を基準として、パターンＢの＋Ｘ側領域の２つの画像の各ドットの、ドットパターンＤＰ全体における位置を同定する。この結果、パターンＢの＋Ｘ側領域の２つの画像のドットの対応付けを行うことができる。

また、−Ｘ側のステレオカメラ２４ｃで撮像されたパターンＢの−Ｘ側領域の２つの画像には、基準パターンＢＰ₋が含まれている。そこで、基準パターンＢＰ₋を検出し、該基準パターンＢＰ₋を基準として、パターンＢの−Ｘ側領域の２つの画像の各ドットの、ドットパターンＤＰ全体における位置を同定する。この結果、パターンＢの−Ｘ側領域の２つの画像のドットの対応付けを行うことができる。

結果として、ドットパターンＤＰの各撮像領域の画像の全ドットの、対応するステレオカメラの座標系における３次元座標（３次元位置情報）を求めることができる。

次いで、各撮像領域の画像の全ドットの３次元位置情報を統合して、ドットパターンＤＰを構成する全ドットの一の座標系における３次元座標（３次元位置情報）を取得する（ステップＳ４−２）。

具体的には、一の撮像領域の画像と他の撮像領域の画像との共通部分における対応するドットの一の座標系における３次元座標が一致するように統合される。

次いで、ドットパターンＤＰの全ドットの３次元位置座標を、スクリーンＳの正面から見た２次元位置座標、すなわちスクリーンＳに平行な仮想平面上における２次元位置座標に変換する（ステップＳ４−３）。

この結果、スクリーンＳの正面からドットパターンＤＰを撮像した場合と同様の、ドットパターンＤＰの全ドットの２次元位置情報が得られる。これらの２次元位置情報には、スクリーンＳの歪みに起因する、スクリーンＳの正面から見たドットパターンＤＰの幾何歪みが現れている（図１９参照）。

以下に、ステレオ測距部によるステレオ測距処理（上記ステップＳ４−１）について、図１０のフローチャートを適宜参照して詳細に説明する。先ず、各ステレオカメラで撮像された２つの画像のドットのピーク位置を整数画素精度で検出する（ステップＳ４−１−１）。具体的には、図９（Ｂ）に示されるように、輝度値が最も大きい（例えば輝度値２５５）画素（ピーク画素）を検出する。

次いで、図１１（Ａ）に示される、検出されたピーク画素を中心とする例えば水平５画素及び垂直５画素の輝度値に対して、図１１（Ｂ）に示されるように、５点パラボラフィッティングを行い、より精密なピーク位置を小数画素精度（サブピクセル精度）で検出する（ステップＳ４−１−２）。なお、パラボラフィッティングは、５点に限らず、要は、２ｎ＋１（ｎ≧１）点で行うことが好ましい。また、パラボラフィッティングに代えて、等角直線フィッティングを行っても良い。

この際、ドットの対応付けを行うために、検出されたピーク位置から、基準パターンをパターンマッチングなどにより検出する（ステップＳ４−１−３）。例えば中央領域の撮像では、図７（Ａ）の画像中の５つの丸印で囲まれた、基準パターンＢＰ_ｍを構成する５つの白ドットの位置を検出する。そして、検出された各白ドットの位置を基準として、中央領域の２つの画像の各ドットのドットパターンＤＰ全体における位置を同定し、２つの画像でのドットの対応付けを行う（ステップＳ４−１−４）。

そして、各ステレオカメラで撮像された２つの画像で対応付けられたドットのｘ座標値（小数画素精度）の差（視差）から、該ドットの奥行き情報（該ステレオカメラの一のレンズの光軸方向の座標）ｚ座標（ｍ）が、次の（１）式で求められる（ステップＳ４−１−５）。
Ｚ＝（Ｂ×ｆ）／（ｃ×ｄ）・・・（１）
なお、Ｂはステレオカメラの基線長（ｍｍ）、ｆは焦点距離（ｍｍ）、ｃはステレオカメラのセンサのセルサイズ（μｍ）、ｄは視差（ピクセル）である。

また、ステレオカメラのｘｙｚ３次元直交座標系でのドットのｘ座標（ｍ）、ｙ座標（ｍ）は、次の（２）式及び（３）式で求められる。
ｘ＝（Ｚ×１０００×（ｘ_Ｐ−（ＣＡＭ＿ＷＩＤＴＨ−１）／２）×（ｃ／１００００００））／ｆ・・・（２）
Ｙ＝（Ｚ×１０００×（ｙ_Ｐ−（ＣＡＭ＿ＨＥＩＧＨＴ−１）／２）×（ｃ／１００００００））／ｆ・・・（３）
なお、（ｘ_Ｐ、ｙ_Ｐ）はステレオカメラの一のレンズ基準の座標系でのドットピーク座標（ピクセル）、ＣＡＭ＿ＷＩＤＴＨ（ピクセル）は各レンズの横解像度、ＣＡＭ＿ＨＥＩＧＨＴ（ピクセル）は各レンズの縦解像度である。

このようにして、各撮像領域の全ドットの３次元位置情報が算出される（Ｓ４−１−６）。なお、中央の撮像領域の各ドットの３次元座標及び−Ｘ側の撮像領域の各ドットの３次元座標の一例がそれぞれ図１２（Ａ）及び図１２（Ｂ）に示されている。ここでは、検出された複数のドットを水平方向にラインで結んで３次元表示している。図１２（Ａ）及び図１２（Ｂ）における太線部分は、隣接する２つのステレオカメラで個別に撮像された２つの領域の重なり部分の３次元位置情報である。

次に、３次元位置情報取得部による３次元位置情報取得処理（上記ステップＳ４−２）について、図１３及び図１４のフローチャートを適宜参照して説明する。３次元位置情報取得処理では、ドットパターンＤＰの３つの領域の画像の共通部分における対応するドットの３次元座標が一致するように隣接する２つのステレオカメラの座標系を位置合わせ（回転、スケール、並進）する。

具体的には、一例として、＋Ｘ側領域の撮像で求められた複数のドットの３次元座標を、中央領域の撮像で求められた複数のドットの３次元座標の座標系に位置合せをするとともに、−Ｘ側領域の撮像で求められた複数のドットの３次元座標を、中央領域の撮像で求められた複数のドットの３次元座標の座標系に位置合せして３者を統合する。

＋Ｘ側領域又は−Ｘ側領域の撮像で求められた複数のドットの３次元座標を、中央領域の撮像で求められた複数のドットの３次元座標の座標系に位置合せする際には、各撮像領域の重なり部分の複数のドットを用いて行う。これらは対応関係が既知であり、観測した３次元座標系が異なっている。このような対応関係既知の２つの３次元点群の異なる座標系の位置合せ（Ｒ：回転、ｓ：スケール、Ｔ:並進）は、図１５に示されるような問題であり、例えば「Ｃｌｏｓｅｄ−ｆｏｒｍ ｓｏｌｕｔｉｏｎ ｏｆａｂｓｏｌｕｔｅ ｏｒｉｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｕｎｉｔ ｑｕａｔｅｒｎｉｏｎｓ Ｂｅｒｔｈｏｌｄ Ｋ．Ｐ．Ｈｏｒｎ １９８７」に記載された方法により数学的に解くことができる。以下、この方法に従って説明する。

先ず、中央領域の画像の対応付け済みのドットの中から中央領域の画像及び＋Ｘ側領域の画像に共通に含まれる測距済みドット（共通ドット）を検出するとともに、＋Ｘ側領域の画像の対応付け済みドットの中から中央領域の画像及び＋Ｘ側領域の画像に共通に含まれる測距済みドット（共通ドット）を検出する（ステップＳ４−２−１）。

次いで、中央領域の画像における＋Ｘ側領域の画像との複数の共通ドットの３次元座標をこれらの重心位置からの相対座標に変換するとともに、＋Ｘ側領域の画像における中央領域の画像との複数の共通ドットの３次元座標をこれらの重心位置からの相対座標に変換する（ステップＳ４−２−２）。

次いで、中央領域の画像における複数の共通ドットの重心位置からの距離の２乗の和と、＋Ｘ側領域の画像における複数の共通ドットの重心位置からの距離の２乗の和の比から、中央領域撮像の座標系（中央のステレオカメラ２４ｂの座標系）及び＋Ｘ側領域撮像の座標系（＋Ｘ側のステレオカメラ２４ａの座標系）と間のスケールｓを求める（ステップＳ４−２−３）。ｓ＝ＳＱＲＴ（２乗和の比）。

次いで、中央領域撮像の座標系及び＋Ｘ側領域撮像の座標系を統合するための回転Ｍを、中央領域及び＋Ｘ側領域の一方の複数の共通ドット（ドット群１）の重心を原点とする位置ベクトルを所定の軸周りに回転したときの位置ベクトルと、該位置ベクトルに対応する、中央領域及び＋Ｘ側領域の他方の複数の共通ドット（ドット群２）の重心を原点とする位置ベクトルとの内積の和が最大になる回転として求める（ステップＳ４−２−４）。なお、中央領域及び＋Ｘ側領域の複数の共通ドットの対応関係はステレオ測距で求められており、既知である。

このような最適な回転は、次の式（４）で求めることができる。

なお、ｒ´_ｌ，ｉは、ドット群１の重心からの相対座標である。
また、ｒ´^Ｔ _ｒ，ｉは、ドット群２の重心からの相対座標である。

上記４×４の対称行列Ｎの最大固有値に対応する単位固有ベクトルを求めると、最適な回転を表す単位４元数になる。この単位４元数をｑ＝（ａ、ｂ、ｃ、ｄ）とすると、上記３×３の回転行列Ｍを、以下のようにして求めることができる。

中央領域撮像及び＋Ｘ側領域撮像の座標系を統合するための並進Ｔを、中央領域及び＋Ｘ側領域の一方の複数の共通ドットの重心を求められた回転Ｍで回転してスケールｓでスケーリングしたものと、中央領域及び＋Ｘ側領域の他方の複数の共通ドットの重心との差として求める（ステップＳ４−２−５）。

求められたスケールｓ、回転Ｍ及び並進Ｔで、＋Ｘ側領域の画像における全てのドットの３次元座標を、中央領域撮像の座標系における３次元座標に変換する（ステップＳ４−２−６）（図１５参照）。なお、この場合、対応する共通ドットの位置座標には誤差があり、両者で必ずしも一致しないので、例えば両者の平均値を採用することが好ましい。

中央領域の画像及び−Ｘ側領域の画像についても、上記ステップ（Ｓ４−２−１）〜（Ｓ４−２−６）と同様の処理であるステップ（Ｓ４−２−７）〜（Ｓ４−２−１２）を行い、求められたスケールｓ´、回転Ｍ´及び並進Ｔ´で、−Ｘ側領域の画像における全てのドットの３次元座標を、中央領域撮像の座標系における３次元座標に変換する。

このようにして、ドットパターンＤＰの全ドットの中央領域撮像の座標系における３次元座標（３次元位置情報）が求められる（図１６参照）。図１６では、スクリーンＳに直交する方向（Ｚ軸方向）に奥行方向（ｚ_ｍ軸方向）を合わせるように変換されたものが示されている。

次に、位置情報変換部による位置情報変換処理（上記ステップＳ４−３）について、図１７のフローチャートを適宜参照して説明する。

位置情報変換処理では、ドットパターンＤＰの各ドットの３次元座標を、ドットパターンＤＰをスクリーンＳの正面から見た２次元位置情報、すなわちドットパターンＤＰの各ドットをスクリーン面に平行な仮想平面（ＸＹ平面）上に正射影して得られる２次元位置情報に変換する。

ここでは、スクリーンＳの凹凸は十分小さく、各ドットは、ほぼ平面上にあるとみなせる。

そこで、スクリーン面の法線ベクトルＮ_１を、例えば各ドットの３次元座標にスクリーンＳに平行な平面を最小自乗法でフィッティングするなどして求める（ステップＳ４−３−１）。

次いで、３次元位置情報取得処理で統合された各ドットの３次元座標の奥行き方向（ｚ_ｍ軸方向）が、スクリーン面の法線方向に平行になるように中央領域撮像の座標系を回転させる（ステップＳ４−３−２）（図１８（Ａ）参照）。

具体的には、スクリーン面がｘ_ｍｙ_ｍ平面に一致するように、これら２つ面の交線を軸に、該２つの面の成す角Φだけ回転すればよい（図１８（Ｂ）参照）。２平面の交線方向ベクトルＮ_Ｃ及び２平面のなす角度Φは、以下のようにして求めることができる。

ｃｏｓΦ＝Ｎ_１・Ｎ_２
なお、Ｎ_２はｚ_ｍ軸方向の単位ベクトルであり、・は内積を意味する。
２平面の交線方向ベクトルＮ_Ｃ＝（Ｎ_１ｘＮ_２）／ＡＢＳ（Ｎ_１ｘＮ_２）
なお、（）内のｘは外積を意味し、ＡＢＳはベクトルの大きさである。

このような回転を表す単位４元数は、（ｃｏｓ（Φ／２）、ｓｉｎ（Φ／２）Ｎ_Ｃ）である。なお、ｃｏｓ（Φ／２）、ｓｉｎ（Φ／２）は、次の式から求めることができる。ｃｏｓ^２（Φ／２）＝（１＋ｃｏｓΦ）／２、ＳＩＮ^２（Φ／２）＝（１−ｃｏｓΦ）／２

結果として、図１６に示されるような３次元画像が得られ、ＸＹ平面（スクリーン面に平行な仮想平面）上に正射影した座標値を求めると、スクリーンＳの正面から見た、図１９に示されるようなドットパターンＤＰの全ドットの２次元座標（２次元位置情報）が得られる（ステップＳ４−３−３）。この２次元座標には、スクリーンＳ上のドットパターンＤＰを正面から見たときの各ドットの幾何歪みが現れている。

次いで、ドットパターンＤＰの全ドットの２次元位置情報に基づいて、ドットパターンＤＰの幾何歪み補正情報（幾何歪み補正パラメータ）を生成する（ステップＳ５）。この幾何歪み補正パラメータは、例えば「投影画像の幾何補正に関する実験的検討」（２００７．５．１８．計測自動制御学会東北支部 第２３５回研究集会 資料２３５−５、高橋。沼徳、青木、近藤）に開示されている方法で幾何歪みを計測することで作成できる。

以下に、幾何歪み補正情報生成部による幾何歪み補正情報生成処理（Ｓ５）について、図２０のフローチャートを適宜参照しつつ詳細に説明する。

先ず、ＸＹ平面上での２次元位置情報が求められた複数のドットで構成されるドットパターンＤＰ（図２１（Ａ）参照）の外周に内接する最大の大きさでアスペクト比を保って、投影コンテンツ画像をマップする（ステップＳ５−１）。

図２１（Ｂ）には、投影コンテンツ画像（アスペクト比４：３）が示されている。ここで、投影コンテンツ画像のサイズは、プロジェクタ装置１０からの投影画像のサイズと同じサイズ、すなわち投影コンテンツ画像は外部機器からの画像信号（映像信号）の１フレームを意味している。

そこで、ドットパターンＤＰの外周に内接する最大の大きさでアスペクト比４：３を保って変倍した投影コンテンツ画像をマップする（図２１（Ｃ）参照）。

図２２（Ａ）〜図２２（Ｃ）に示されるように、各ドットのＸＹ２次元座標を、マップされた投影コンテンツ画像上の位置に対応する等倍原画像上の座標（幾何歪み補正パラメータ）に変換する（ステップＳ５−２）。

フレームメモリ２７に一時的に保存されたドットパターンＤＰは、図２２（Ａ）のように、左上原点で正方ブロックに分割され、ドット（ブロック）のサイズをｂｌｋ（画素）とする。ドットはそれぞれ、図２２（Ｂ）に示されるように、スクリーンの歪みによって歪んで投影され、撮像される。撮像された画像上でのドットの座標はすべて求められている。

ここで、例えば図２２（Ａ）に示されるドットパターンＤＰの画像の（１２＊ｂｌｋ、８＊ｂｌｋ）座標のドット（赤丸の点）に注目し、撮像画像上での対応位置を（Ｘｃａｍ、Ｙｃａｍ）とする。そして、図２２（Ｂ）に示されるように、投影され得る領域内に最大サイズでアスペクト比を保って変倍した投影コンテンツ画像をマップする。マップされたコンテンツ画像の左上の原点の座標を（Ｘ_０、Ｙ０）、コンテンツ画像の変倍率をＱとすると、撮像画像上でこのドットに映し出すべき、投影コンテンツ画像の画素位置（Ｘｃｏｎｔ、Ｙｃｏｎｔ）は、以下のようにして求めることができる。
Ｘｃｏｎｔ＝（Ｘｃａｍ−Ｘ０）／Ｑ
Ｙｃｏｎｔ＝（Ｙｃａｍ−Ｙ０）／Ｑ

すべてのドットについての投影コンテンツ画像上での画素位置（Ｘｃｏｎｔ、Ｙｃｏｎｔ）が、幾何歪み補正パラメータである。

生成された幾何歪み補正パラメータは、幾何歪み補正パラメータ設定部によって幾何歪み補正部に設定される（上記ステップＳ６）。

次に、幾何歪み補正手段２５による幾何歪み補正処理（上記ステップＳ７）について、図２３のフローチャートを参照して説明する。

先ず、幾何歪み補正情報生成処理（上記ステップＳ５）で生成された、フレームメモリ２７から投影される補正画像のドット位置ごとの参照すべき等倍原画像上の座標（幾何歪み補正パラメータ）を設定する（ステップＳ７−１）。

次いで、ドット以外の参照すべき等倍原画像上の座標を、ドットの座標から線形補間で計算し、プロジェクタ装置メモリ上のすべての画素について、参照すべき等倍原画像上の座標を得る（ステップＳ７−２）。

次いで、参照すべき等倍原画像上の座標（小数点数）に従って、原画像から、バイリニア、バイキュービックなどの画素補間手法でフレームメモリ２７上に補正画像を生成する（ステップＳ７−３）。

以上説明した幾何歪み補正装置５０は、投影部１６からスクリーン面（スクリーンＳの表面）に投影されたドットパターンＤＰを含むパターンを部分的にオーバーラップさせて分割撮像可能な撮像部１８と、分割撮像されて得られた複数（例えば３つ）の画像に基づいて、ドットパターンＤＰの幾何歪み情報を取得する幾何歪み情報取得手段２３と、取得された幾何歪み情報に基づいて、スクリーン面に投影される画像の幾何歪みを補正する幾何歪み補正手段２５と、を備えている。

この場合、撮像部１８によってスクリーン面に投影されたドットパターンＤＰを含むパターンを部分的にオーバーラップさせて分割撮像できるため、スクリーンＳと幾何歪み補正装置５０との位置関係に関わらず、分割撮像されて得られる複数（例えば３つ）の画像の周辺部の解像度の低下を抑制できる。

この結果、複数（例えば３つ）の画像に基づいてドットパターンＤＰの幾何歪み情報を精度良く取得でき、取得された幾何歪み情報に基づいて、スクリーン面に投影される画像の幾何歪みを精度良く補正できる。

結果として、幾何歪み補正装置５０では、スクリーン面と撮像部１８との位置関係に関わらず、スクリーン面に投影される画像の幾何歪みを精度良く補正できる。逆に言うと、スクリーン面に投影される画像の品質を維持しつつ、装置の設置の自由度を向上できる。

また、前記幾何歪み情報は、スクリーン面に投影されたドットパターンＤＰを正面から見たときの幾何歪みに関する情報である。

この場合、スクリーンＳの正面から見て幾何歪みが補正された高品質な画像をスクリーンＳに投影することができる。

また、撮像部１８は、スクリーン面に投影されたドットパターンＤＰを含むパターンの複数（例えば３つ）の画像を個別に取得する複数（例えば３つ）のステレオカメラ２４ａ、２４ｂ、２４ｃを含んでいる。

この場合、ドットパターンＤＰを含むパターンの各領域の複数位置の３次元位置情報を精度良く取得することができ、ひいてはドットパターンＤＰの幾何歪み情報を更に精度良く取得することができる。

また、複数（例えば３つ）のステレオカメラ２４ａ、２４ｂ、２４ｃは、Ｘ軸方向（スクリーンＳの長手方向）に並べて配置されている。

この場合、少数のステレオカメラを用いて極力大きな撮像範囲をカバーすることができる。この結果、ステレオカメラのレンズに超広角レンズを用いる必要がない。なお、一般にレンズが広角であればあるほどレンズ歪みは大きくなり、撮像視野の周辺部の解像度が低下するため、高精度のステレオ測距は困難となる。

また、幾何歪み情報取得手段２３は、複数（例えば３つ）の画像それぞれの複数位置の３次元位置情報を検出するステレオ測距部と、検出された３次元位置情報を、複数（例えば３つ）の画像の共通部分の対応する複数位置の３次元位置情報が一致するように統合して、ドットパターンＤＰの複数位置の一の座標系（中央領域撮像の座標系）における３次元位置情報を取得する３次元位置情報取得部と、取得された３次元位置情報をスクリーンＳに平行な仮想平面上における２次元位置情報に変換する位置情報変換部と、を含んでいる。

この場合、撮像部１８によって撮像された複数（例えば３つ）の画像に基づいて、スクリーンＳに平行な仮想平面（ＸＹ平面）上におけるドットパターンＤＰの幾何歪み情報を精度良く取得することができる。

また、プロジェクタ装置１０は、幾何歪み補正装置５０と、スクリーン面に所定パターンを投影するとともに幾何歪み補正装置５０によって幾何歪みが補正された画像をスクリーン面に投影する投影部１６とを、一体に備えている。

この場合、プロジェクタ装置１０とスクリーン面との位置関係に関わらず、幾何歪みが補正された高品質な画像をスクリーン面に投影することができる。逆に言うと、スクリーン面に投影される画像の品質を維持しつつ、プロジェクタ装置１０の設置の自由度を向上できる。

また、投影部１６は、光源８０と、該光源８０からの光をスクリーン面に導く短焦点の光学系とを含み、画像情報に応じて変調された光をスクリーン面に投射する。

この場合、プロジェクタ装置１０は、図２４に示されるように、スクリーンに近接した位置に配置されて使用される。

この結果、スクリーンの歪みがないと仮定した場合の投影像に対するスクリーンの歪みによる投影像の上下のずれ幅（幾何歪み）が大きくなる。この場合、撮像部１８は投影部１６に近接しているため、撮像部１８で撮像された画像から直接的に投影像の上下のずれ幅を精度良く取得することは、非常に困難である。すなわち、撮像部１８で撮像された画像から直接的に精度良く幾何歪み情報を取得することは、非常に困難である。このような場合であっても、プロジェクタ装置１０では、スクリーンに投影されたドットパターンの３次元位置情報を精度良く取得でき、取得された３次元位置情報に基づいて、スクリーンに投影されたドットパターンの正面視での幾何歪み補正情報（幾何歪み補正パラメータ）を精度良く生成できるため、スクリーンに投影される画像の正面視での幾何歪みを精度良く補正することができる。

なお、上記実施形態では、投影部は、短焦点型とされているが、これに限られない。例えば、図２５（Ａ）に示される変形例１のプロジェクタ装置１００のように、短焦点型でない投影部及び撮像部を備えるプロジェクタ装置をスクリーンに概ね正対する位置に配置し、スクリーンの概ね正面から光を投射するようにしても良い。この場合でも、投影像に上下の小さなずれが発生し、撮像部はスクリーンに投影されたドットパターンをスクリーンの真正面から撮像するわけではないため、撮像部で撮像された画像から直接的に精度良く幾何歪み情報を取得することは、困難である。従って、この場合も、上記実施形態で説明した幾何歪み補正方法が有効である。

また、例えば、図２５（Ｂ）に示される変形例２のプロジェクタ装置２００のように、短焦点型でない投影部及び撮像部を備えるプロジェクタ装置を光投射方向がスクリーンに対して傾斜するように配置し、スクリーンに対して傾斜する方向から光を投射するようにしても良い。この場合も、投影像の上下のずれ幅が比較的大きく、上記実施形態で説明した幾何歪み補正方法が特に有効である。

また、上記実施形態では、スクリーンＳに投影されるドットパターンを含むパターンの部分的にオーバーラップさせて分割撮像される領域は、３つとされているが、これに限らず、例えば、２つ又は４つ以上であっても良い。

また、上記実施形態では、撮像部１８は、３つのステレオカメラを有しているが、これに限らず、要は、少なくとも１つのステレオカメラを有していれば良い。

具体的には、図２６に示される変形例３のプロジェクタ装置３００のように、撮像部１８０は、１つのステレオカメラ２４と該ステレオカメラ２４をＹ軸周りに回動させる回動機構（不図示）とを有していても良い。この場合、１つのステレオカメラを回動機構でＹ軸周りに回動させることで、スクリーンＳに順次投影されるパターンＡ及びＢの対応する領域を順次撮像することができる。また、撮像部は、複数のステレオカメラと該複数のステレオカメラをＹ軸周りに回動させる回動手段とを有していても良い。

また、撮像部は、１つのステレオカメラと該ステレオカメラをＸ軸方向に移動（例えばスライド）させる移動機構とを有していても良い。この場合、１つのステレオカメラを移動機構でＸ軸方向に移動させることで、スクリーンＳに順次投影されるパターンＡ及びＢの対応する領域を順次撮像することができる。なお、撮像部は、複数のステレオカメラと該複数のステレオカメラをＸ軸方向に移動させる移動手段とを有していても良い。

また、撮像部では、３つのステレオカメラは、Ｘ軸方向に並べて配置されているが、これに限られない。例えば、Ｚ軸方向及びＹ軸方向の少なくとも一方に関して互いにずれた位置に配置されても良い。

また、撮像部では、各ステレオカメラは、２眼がＸ軸方向に並ぶように配置されているが、これに限らず、要は、２眼がＺ軸に直交する方向に並ぶように配置されることが好ましい。

また、上記実施形態では、幾何歪み補正装置５０は、プロジェクタ装置１０の一部として用いられている（投影部１６と一体的に設けられている）が、これに限られない。例えば、図２７に示される変形例４のように、幾何歪み補正装置１５０は、投影装置１６０と別体とされ、該投影装置１６０と有線又は無線で通信可能とされても良い。なお、幾何歪み補正装置１５０は、投影装置１６０に対して着脱可能であっても良い。この場合、例えば、短焦点型の投影装置１６０をスクリーンＳに近接する位置に配置し、幾何歪み補正装置１５０をスクリーンＳから離れた位置に配置することができる。この結果、スクリーンＳに投影されたパターンＡ又はＢを少数のステレオカメラで、高解像度で撮像することができる。また、パターンＡ及びＢの領域分割数を少なくできるため、ステレオカメラの個数、又はステレオカメラの姿勢変更回数若しくは移動回数を少なくすることができる。また、パターンＡ又はＢを撮像するステレオカメラの視野角が小さくて済むため、広角レンズでないレンズを用いることができ、コストダウンを図ることができる。また、幾何歪み補正装置１５０を投影装置１６０から離間させて配置することができ、投影装置１６０で発生する熱の影響が幾何歪み補正装置１５０に及び難くすることができる。

また、例えば、図２８に示される変形例５のように、例えば、短焦点型でない投影装置２６０をスクリーンＳから離れた位置に配置し、幾何歪み補正装置２５０を投影装置２６０から離れた位置（スクリーンＳに近接した位置又はスクリーンＳから離間した位置）に配置しても良い。この場合も、投影装置２６０で発生する熱の影響が幾何歪み補正装置２５０に及び難くすることができる。なお、幾何歪み補正装置２５０は、投影装置２６０に対して着脱可能であっても良い。

以上説明したように、本発明の幾何歪み補正装置は、被投影面（例えばスクリーン面）との位置関係に関わらず、投影手段から被投影面に投影される画像の正面視での幾何歪みを精度良く補正することができる。

なお、上記実施形態では、被投影面は、一例として、吊り下げ型のスクリーンＳの表面とされたが、これに限らず、例えば、建造物の壁に固定されたスクリーンＳの表面、建造物の壁面、布の表面、パネルの表面、ボードの表面、自動車のフロントガラスの表面等とされても良い。

また、上記実施形態では、スクリーンＳに投影されるパターンは、ドットパターンＤＰ及び少なくとも１つの基準パターンをそれぞれが含む２つのパターンＡ及びＢとされているが、これに限らず、１つのドットパターン及び少なくとも１つの基準パターンを含む１つのパターンであっても良いし、同一のドットパターン及び少なくとも１つの基準パターンをそれぞれが含む３つ以上のパターンであっても良い。この場合であっても、ステレオカメラでパターンの各領域が撮像されるときに該領域に対応する基準パターンのみが該ステレオカメラの２眼の共通視野内に入ることが好ましい。

また、上記実施形態では、投影部１６に接続されるフラッシュメモリ２９にパターンＡ及びＢが格納されているが、これに限らず、例えば、投影部に接続されるパターン生成部を設けて、該パターン生成部で少なくとも１つのパターンを生成し、生成されたパターンを投影部に送るようにしても良い。

また、上記実施形態では、スクリーンＳに投影されるパターンに含まれる所定パターンは、ドットパターンＤＰとされているが、これに限られない。例えば、格子パターンであっても良い。この場合、ドットパターンＤＰの各ドットの代わりに、例えば、格子パターンの格子の交点を用いても良いし、格子パターンで囲まれる領域（格子の目）を用いても良い。

また、上記実施形態では、ドットパターンＤＰの各ドットの形状は、正方形とされているが、これに限らず、例えば、円形、楕円形、正方形以外の多角形等とされても良い。なお、ドットの形状が円形、楕円形、多角形の場合、それぞれ円錐状、楕円錐状、多角錐状の輝度分布となることが好ましい。

また、上記実施形態では、ドットパターンＤＰの各ドットは、中心が最大となる輝度分布（グラデーション）を有しているが、これに限らず、例えば、中心が最小となる輝度分布（グラデーション）を有していても良い。

また、上記実施形態では、各基準パターンは、十字の交点及び４つの端点に個別に位置する５個の白ドットで構成されているが、これに限られない。要は、ドットパターンＤＰの各領域のドットの位置の基準となるパターンであれば、例えば、１個〜４個の白又は黒ドット、５個の黒ドット、６個以上の白又は黒ドット、十字状パターン、Ｘ字状パターン、ライン状パターン、格子パターンなどの他のパターンであっても良い。なお、本明細書では、パターンの地色よりも濃い色を黒ドット、薄い色を白ドッドと称している。すなわち、黒ドット及び白ドットには、ハーフトーンのドットも含まれる。

投影部１６の構成は、上述したものに限られず、適宜変更可能である。例えば、上記実施形態では、光源８０からの光をＤＭＤ９４で画像信号に応じて変調しているが、これに限らず、例えば、画像信号に応じて光源を変調駆動しても良い。この場合、ＤＭＤ９４に代えて、例えば２軸のＭＥＮＳスキャナ、２軸のガルバノスキャナ、複数のＭＥＭＳミラー、複数のガルバノミラー、透過型液晶パネル、反射型液晶パネル等を用いても良い。

また、上記実施形態では、投影部は、短焦点型とされているが、短焦点型でなくても良い。この場合、屈折力を有するミラー（例えば上記自由曲面ミラー９８）に代えて、ＭＥＮＳミラー、ガルバノミラー等を用いても良い。

１０…プロジェクタ装置、１６…投影部（投影手段）、１８…撮像部（撮像手段）２３…幾何歪み情報取得手段、２４、２４ａ、２４ｂ、２４ｃ…ステレオカメラ、２５…幾何歪み補正手段、５０…幾何歪み補正装置、８０…光源、ＢＰ_＋、ＢＰ_ｍ、ＢＰ₋…基準パターン、ＤＰ…ドットパターン（所定パターン）、Ｓ…スクリーン。

「投影画像の幾何補正に関する実験的検討」（２００７.５．１８．計測自動制御学会東北支部 第２３５回研究集会 資料２３５−５、高橋。沼徳、青木、近藤）。

Claims (16)

1. 投影手段から被投影面に投影される画像の幾何歪みを補正する幾何歪み補正装置であって、
   前記投影手段から前記被投影面に投影された、所定パターンを含むパターンを部分的にオーバーラップさせて分割撮像可能な撮像手段と、
   前記パターンが分割撮像されて得られた複数の画像に基づいて、前記所定パターンの幾何歪み情報を取得する幾何歪み情報取得手段と、
   取得された前記幾何歪み情報に基づいて、前記被投影面に投影される画像の幾何歪みを補正する幾何歪み補正手段と、を備える幾何歪み補正装置。
2. 前記幾何歪み情報は、前記所定パターンを正面から見たときの幾何歪みに関する情報であることを特徴とする請求項１に記載の幾何歪み補正装置。
3. 前記撮像手段は、前記複数の画像を個別に取得する複数のステレオカメラを含むことを特徴とする請求項１又は２に記載の幾何歪み補正装置。
4. 前記複数のステレオカメラは、一軸方向に並べて配置されていることを特徴とする請求項３に記載の幾何歪み補正装置。
5. 前記撮像手段は、前記複数の画像を順次取得するステレオカメラを含むことを特徴とする請求項１又は２に記載の幾何歪み補正装置。
6. 前記ステレオカメラは、前記複数の画像を個別に取得可能な複数の位置の間で移動可能であるか、又は前記複数の画像を個別に取得可能な複数の姿勢の間で姿勢変更可能であることを特徴とする請求項５に記載の幾何歪み補正装置。
7. 前記幾何歪み情報取得手段は、
   前記複数の画像それぞれの複数位置の３次元位置情報を検出する３次元位置情報検出部と、
   検出された前記３次元位置情報を、前記複数の画像の共通部分の対応する複数位置の３次元位置情報が一致するように統合して、前記所定パターンの複数位置の一の座標系における３次元位置情報を取得する３次元位置情報取得部と、
   取得された前記３次元位置情報を前記被投影面に平行な仮想平面上における２次元位置情報に変換する位置情報変換部と、を含むことを特徴とする請求項１〜６のいずれか一項に記載の幾何歪み補正装置。
8. 前記パターンは、分割撮像される複数の領域の少なくとも１つに基準パターンを含み、
   前記３次元位置情報検出部は、前記基準パターンを基準として、前記複数の画像それぞれの複数位置の３次元位置情報を検出することを特徴とする請求項７に記載の幾何歪み補正装置。
9. 前記複数の領域のうちの互いに異なる領域に前記基準パターンを含む複数の前記パターンが前記投影手段から前記被投影面に順次投影され、
   前記撮像手段は、前記被投影面に投影された前記複数のパターンそれぞれの前記基準パターンを含む領域を撮像することを特徴とする請求項８に記載の幾何歪み補正装置。
10. 前記所定パターンは、中心を最大値又は最小値とする輝度分布をそれぞれが有する複数のドットを含み、
    前記所定パターンの複数位置は、前記複数のドットの中心であり、
    前記３次元位置情報検出部は、前記複数の画像それぞれの複数位置の３次元位置情報をパラボラフィッティング又は等角直線フィッティングによってサブピクセル精度で検出することを特徴とする請求項７〜９のいずれか一項に記載の幾何歪み補正装置。
11. 前記幾何歪み補正手段は、前記幾何歪み情報に基づいて前記幾何歪みを補正するための幾何歪み補正情報を生成する幾何歪み補正情報生成部と、生成された幾何歪み補正情報に基づいて、前記被投影面に投影される画像の幾何歪みを補正する幾何歪み補正部と、を含むことを特徴とする請求項１〜１０のいずれか一項に記載の幾何歪み補正装置。
12. 請求項１〜１１のいずれか一項に記載の幾何歪み補正装置と、
    前記被投影面に前記所定パターンを投影するとともに、前記幾何歪み補正装置によって幾何歪みが補正された画像を前記被投影面に投影する、前記投影手段としての投影装置と、を備えるプロジェクタ装置。
13. 前記投影装置は、光源と、該光源からの光を前記被投影面に導く短焦点の光学系とを含み、画像情報に応じて変調された光を前記被投影面に投射することを特徴とする請求項１２に記載のプロジェクタ装置。
14. 被投影面に投影される画像の幾何歪みを補正する幾何歪み補正方法であって、
    前記被投影面に所定パターンを含むパターンを投影し、投影された前記パターンを部分的にオーバーラップさせて分割撮像するステップと、
    分割撮像されて得られた複数の画像に基づいて、前記所定パターンの幾何歪み情報を取得するステップと、
    取得された前記幾何歪み情報に基づいて、前記被投影面に投影される画像の幾何歪みを補正するステップと、を含む幾何歪み補正方法。
15. 前記幾何歪み情報を取得するステップは、
    前記複数の画像それぞれの複数位置の３次元位置情報を検出するサブステップと、
    検出された前記３次元位置情報を、前記複数の画像の共通部分の対応する複数位置の３次元位置情報が一致するように統合して、前記所定パターンの複数位置の一の座標系における３次元位置情報を取得するサブステップと、
    取得された前記３次元位置情報を前記被投影面に平行な仮想平面上における２次元位置情報に変換するサブステップと、を含むことを特徴とする請求項１４に記載の幾何歪み補正方法。
16. 前記幾何歪み情報は、前記被投影面に投影された前記所定パターンを正面から見たときの幾何歪みに関する情報であることを特徴とする請求項１４又は１５に記載の幾何歪み補正方法。