JP2009265826A - 映像補正方法、プログラム及び立体視映像生成システム - Google Patents

Abstract

【課題】プロジェクタの姿勢や位置のずれに起因する映像の歪みを簡単に補正して鮮明な映像を表示することができる映像補正方法等を提供する。
【解決手段】複数のプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌのそれぞれから映像光を曲面スクリーン１に投影する時に、マップ更新部５は、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌにより表示される曲面スクリーン１上の映像間のずれを求め、曲面スクリーン１上に表示させる複数の映像のうち何れかの元映像座標と歪み補正後映像座標との対応関係を表す対応関係テーブルのうち、歪み補正後映像の座標を、求めた映像間のずれに相当する方向及び距離だけずらす。そして映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌは、更新されたパラメータを用いて各投影手段から映像光を投影するための映像データに対して歪み補正を行って、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌから映像光を投影させる。
【選択図】図１

Description

本発明は、任意形状のスクリーンに歪み無く映像を表示する映像補正方法、プログラム及び立体視映像生成システムに関する。

従来より、複数のプロジェクタから出た分割映像を、隣接する分割映像の一部を重ねながら曲面スクリーンに投影する投影システムが、下記の特許文献１などにて知られている。この特許文献１に記載された投影システムは、当該システムの設置時には、スクリーンに映像を表示させた時に歪み無く鮮明な映像が見られるように、複数台のプロジェクタの姿勢や位置決めを正確に行うことが要求される。
特開２００５−５１６３３３号公報

しかしながら、従来の投影システムは、例えば設置時からの経時的にプロジェクタの姿勢や位置がずれてしまうことが経験的に認められ、所定期間毎に当該プロジェクタの姿勢、位置を補正するメンテナンス作業が必要となっている。また、従来の投影システムにおいては、地震などによってもプロジェクタの姿勢、位置がずれてしまい、この場合にもメンテナンス作業が必要となる。このメンテナンス作業は、大規模な投影システムであって複数台のプロジェクタを備えているシステムであるほど頻繁に行う必要があり且つ正確性が要求される。

このようにプロジェクタの姿勢、位置のずれがあると、例えば半球型スクリーンに立体視映像を表示する場合に、図１０に示すように、左右眼に対応した元映像から所定のパラメータを使用して補正映像を生成して、半球型スクリーンに表示させても、左右の映像間にずれが発生してしまう。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、プロジェクタの姿勢や位置のずれに起因する映像の歪みを簡単に補正して鮮明な映像を表示することができる映像補正方法、プログラム及び立体視映像生成システムを提供することを目的とする。

本発明は、複数の投影手段のそれぞれから映像を任意形状の表示手段に対して投影するに際して、上述の課題を解決するために、各投影手段から投影した映像によって表示される表示手段上の映像間のずれを求め、表示手段上に表示させる複数の映像のうち何れかの元映像の座標と歪み補正後映像の座標との対応関係を表す対応関係テーブルのうち、歪み補正後映像の座標を、求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理を行う。そして、更新されたパラメータを用いて各投影手段から映像を投影するための映像データに対して歪み補正を行って、各投影手段から映像を投影させる。

本発明によれば、複数の投影手段によって映像を表示させる時に、表示手段上の映像間のずれを求め、当該ずれに相当する方向及び距離だけ歪み補正後映像の座標をずらすように歪み補正テーブルを更新するので、各投影手段の姿勢や位置のずれに起因する映像の歪みを簡単に補正して鮮明な映像を表示することができる。

以下、本発明の実施の形態について図面を参照して説明する。

本発明の実施形態として示す立体視映像生成システムは、図１に示すように、複数の観察者に対して立体視映像を提供するものである。この立体視映像生成システムは、広視野にわたって映像を大型の曲面スクリーン（任意形状の表示手段）に投影することで、自分が仮想空間にいるような没入感を、多数の観察者に同時に与えることができるものである。この立体視映像生成システムは、例えば、多くの建築家や都市計画者が大型曲面スクリーンに投影されたコンピュータグラフィックをみながら、建築予定の建物や橋などについて議論する都市計画や、宇宙や海底などの映像を投影して観察者が楽しむアミューズメント、火事の避難訓練、内視鏡を用いた手術など、様々な目的に用いられる。

この立体視映像生成システムは、図１及び図２に示すように、広視野を提供する大型の曲面スクリーン１と、１８台のプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌと、１８台の映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌと、曲面スクリーン１に表示された立体視映像を撮像するカメラ４と、映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌによる歪み補正処理のための対応マップである歪み補正テーブルを更新するマップ更新部５とを備える。複数の映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌは、これら全体で、映像生成モジュール３を構成する。

マップ更新部５は、パーソナルコンピュータからなり、後述するように映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌにおける歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌが歪み補正を行うための歪み補正パラメータを更新する処理を行う。このマップ更新部５は、内部に歪み補正パラメータを更新するためのプログラムを記憶し、内部コンピュータが当該プログラムを実行することによって、後述するように歪みを小さくするように歪み補正パラメータを更新する。

なお、図１には、曲面スクリーン１の前面側にプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌを設けた構成例を示している。しかし、これに限らず、曲面スクリーン１の背面にプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌを設けて曲面スクリーン１上に映像を表示させる構成であっても、後述の構成を採用し、本発明が発揮する特有の効果を発揮できることは勿論である。

プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌと映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌは、立体視映像を表示するために、右眼用のグループ（プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ）と左眼用のグループ（プロジェクタ２Ａ_Ｌ〜２Ｉ_Ｌ，映像生成装置３Ａ_Ｌ〜３Ｉ_Ｌ）とに分類される。

曲面スクリーン１は、下側が水平にカットされた凹面形状の半球型スクリーンである。この曲面スクリーン１は、例えば、内径が８．５ｍ、水平視野角が１８０度、垂直視野角が１５０度で、広視野にわたって映像を表示できるように設計されている。プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌ及び映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌにおいては、図３に示すように、曲面スクリーン１を、３×３の投影領域１ａ〜１ｉに分割させる。１８台のプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌによって、それぞれの投影領域１ａ〜１ｉに、左眼映像光及び右眼映像光からなる分割映像光２０ａ〜２０ｉが投影され、一つの結合された立体視映像を作り出す。なお、この実施の形態では、内径が８．５ｍという曲面スクリーン１を用いているために多数の１８台のプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌを用いているが、これに限らず、個人用の映像提示装置のように観察者の右眼と左眼に対応した２台のプロジェクタで構成されているものであっても良い。

映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌは、一つのつなぎ目のない立体視映像データを蓄積している。そして映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌは、立体視映像データに対して所定の処理を施すことにより、単一の映像を曲面スクリーン１に投影される９つの分割映像データに分割すると共に、各分割映像データに対して後述する歪み補正処理を行う。この分割映像データは、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌに出力されて、当該プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌによって分割映像光２０ａ〜２０ｉを投影させる。

各映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌは、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌと接続されている。各映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌは、それぞれ、分割映像生成部３０Ａ_Ｒ〜３０Ｉ_Ｒ，３０Ａ_Ｌ〜３０Ｉ_Ｌと、歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌとを有する。なお、映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌは、投影領域１ａ〜１ｉ間の重複領域における輝度を調整するために、歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌによって歪み補正が施された分割映像データの輝度を補正する輝度フィルターを備えていても良い。これにより分割映像生成部３０Ａ_Ｒ〜３０Ｉ_Ｒ，３０Ａ_Ｌ〜３０Ｉ_Ｌは、それぞれ、分割映像光２０ａ〜２０ｉをプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌにて発生させるための分割映像データを作成する。

各歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌは、所定の視点位置から見た時に、立体視映像の歪みが最小になるように、各分割映像データを補正する。各歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌは、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌに対応して設けられることによって、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌごとに、元映像の座標と歪み補正後映像の座標との対応関係を表す歪み補正テーブル（＝対応関係テーブル）を記憶している（テーブル記憶手段）。この歪み補正テーブルは、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌから投影した映像光によって表示される曲面スクリーン１上の映像間のずれに応じて、マップ更新部５によって更新される。そして、歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌは、マップ更新部５により更新された歪み補正テーブルを用いて各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌから分割映像光２０ａ〜２０ｉを投影するための分割映像データに対して歪み補正を行って、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌから分割映像光２０ａ〜２０ｉを投影させる。

この歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌによる歪み補正処理は、図４に示すように、元映像である分割映像元データ１００Ｌ，１００Ｒに対して、歪み補正テーブルを用いた座標変換を行うことによって、歪み補正処理を施す。ここで、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌごとに曲面スクリーン１に対する姿勢及び位置が異なるので、それぞれの映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌには異なる歪み補正テーブルによる歪み補正処理を行う必要がある。

そして、分割映像元データ１００Ｌ，１００Ｒに対して歪み補正処理を施すことによって、当該分割映像元データ１００Ｌ，１００Ｒは、曲面スクリーン１に分割映像光２０ａ〜２０ｉを投影したときに所定の視点位置から歪み無く見えるように変換された補正分割映像データ１０１Ｌ，１０１Ｒとされる。そして、この補正分割映像データ１０１Ｌ，１０１Ｒは、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌに供給されて、分割映像光２０ａ〜２０ｉ（観察映像１０２Ｌ，１０２Ｒ）として曲面スクリーン１の投影領域１ａ〜１ｉに向けてそれぞれ投影されて、曲面スクリーン１上には、立体視映像１０３が表示される。

このような歪み補正処理を行ったにも拘わらず、立体視映像生成システムにおいては、システム設置時での微小な取り付け誤差によるプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢ずれ及び位置ずれ、経時的なプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢ずれ及び位置ずれ、地震などの外乱的なプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢ずれ及び位置ずれがあると、立体視映像１０３中に歪みが発生してしまう。このような立体視映像１０３中の歪みを補正するためには、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌのずれを修正する必要があるが、この立体視映像生成システムのように多数のプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌがあるシステムほど、このメンテナンス作業が大掛かりなものとなる。そこで、本発明の実施形態として示す立体視映像生成システムは、当該歪みを簡単に補正して鮮明な映像を表示する。

すなわち、立体視映像生成システムは、複数のプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌのそれぞれから分割映像光２０ａ〜２０ｉを曲面スクリーン１に対して投影するに際して、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌから投影した分割映像光２０ａ〜２０ｉによって表示される曲面スクリーン１上の映像間のずれを求め、曲面スクリーン１上に表示させる複数の映像のうち何れかの分割映像元データ１００Ｌ，１００Ｒの座標と補正分割映像データ１０１Ｌ，１０１Ｒの座標との対応関係を表す歪み補正テーブルのうち、補正分割映像データ１０１Ｌ，１０１Ｒの座標を、求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理を行う。

そして、このテーブル更新処理の後、分割映像元データ１００Ｌ，１００Ｒは、新たな歪み補正テーブルによって補正分割映像データ１０１Ｌ’，１０１Ｒ’を作成することができ、分割映像光２０ａ〜２０ｉ（観察映像１０２Ｌ’，１０２Ｒ’）として曲面スクリーン１の投影領域１ａ〜１ｉに向けてそれぞれ投影される。これにより、曲面スクリーン１上には、補正分割映像データ１０１Ｌ，１０１Ｒを直接的に変形した結果として、双方の映像に歪みの無い立体視映像１０３’が表示される。

このように構成された立体視映像生成システムは、複数のプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌのそれぞれから分割映像光２０ａ〜２０ｉを曲面スクリーン１に対して投影するに際して、図５に示す処理手順で動作することにより、ステップＳ１〜ステップＳ５にて各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌ間で表示する映像のずれを検出し、ステップＳ６にて当該ずれを修正するように歪み補正テーブルを更新する。

先ずステップＳ１においては、マップ更新部５によって、初期設定されている歪み補正テーブルを用いて、分割映像生成部３０Ａ_Ｌ〜３０Ｉ_Ｌにて生成された格子模様の分割映像データに対して歪み補正部３１Ａ_Ｌ〜３１Ｉ_Ｌによって歪み補正処理を行わせ、プロジェクタ２Ａ_Ｌ〜２Ｉ_Ｌから格子映像を曲面スクリーン１に投射させる。そして、マップ更新部５は、ステップＳ２において、ステップＳ１にて曲面スクリーン１上に表示された左眼用に表示された映像をカメラ４によって撮像させて、当該撮像データを取得する。

ステップＳ３においては、マップ更新部５によって、初期設定されている歪み補正テーブルを用いて、分割映像生成部３０Ａ_Ｒ〜３０Ｉ_Ｒにて生成された格子模様の分割映像データに対して歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒによって歪み補正処理を行わせ、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒから格子映像を曲面スクリーン１に投射させる。そして、マップ更新部５は、ステップＳ４において、ステップＳ３にて曲面スクリーン１上に表示された右眼用に表示された映像をカメラ４によって撮像させて、当該撮像データを取得する。

ここで、ステップＳ１〜ステップＳ４の処理は、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌにおいて、例えば、右眼用のプロジェクタが２Ａ_Ｒであり、左眼用のプロジェクタが２Ａ_Ｌということである。

次のステップＳ５においては、マップ更新部５によって、ステップＳ２にて取得した左眼用に表示された格子映像とステップＳ４にて取得した右眼用に表示された格子映像間の差（ずれ）を計算する。

このとき、マップ更新部５は、格子映像に含まれる各格子点ごとに、右眼映像に対する左眼映像のずれ量（ベクトル）を求めて、左眼映像の格子点に対応した右眼映像の近傍点を求める。例えば、図６（ａ）、図６（ｂ）に示すように、左眼映像の格子点ｕ_ｉ，ｊに対する近傍点としては、当該左眼映像の格子点ｕ_ｉ，ｊに最も近い右眼映像の格子点ｕ_ｉ，ｊを選択することができる。

次にマップ更新部５は、図６に示したように求めた右眼映像の近傍点に対する左眼映像の格子点の内分比（図６中のｓ，ｔ）を求める。そして、マップ更新部５は、下記の式１にて示すような演算式によって、内分比に基づいて右眼映像の格子点の座標値を更新する。

これにより、マップ更新部５は、左眼映像と右眼映像とが合致しなく歪みがある状態であっても、左眼映像と右眼映像とのうち、右眼映像の歪み補正テーブルの補正後の座標を内分比だけ、すなわち、ずれに相当する方向及び距離だけずらすように補正することができる。

したがって、この立体視映像生成システムによれば、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢や位置のずれに起因する映像の歪みを簡単に補正して鮮明な映像を表示することができる。

つぎに、本発明の他の実施形態として示す立体視映像生成システムについて説明する。なお、上述した説明と同一の部分については同一符号を付することによってその詳細な説明を省略する。

この立体視映像生成システムは、映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌの歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌが歪み補正パラメータを更新して歪み補正処理を行い、その後に、上述したように歪み補正テーブルを更新して歪み補正処理を行う機能を有している。このため、立体視映像生成システムにおいては、図２に示すマップ更新部５の機能に加えて、映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌによる歪み補正処理のためのパラメータを更新する機能を備えたマップ・パラメータ更新部５’を備える。

先ず、マップ・パラメータ更新部５’における歪み補正パラメータを更新する処理について説明し、その次に、歪み補正パラメータを更新して歪み補正処理を行った後に歪み補正テーブルを用いた歪み補正テーブルを行う動作手順について説明する。

マップ・パラメータ更新部５’は、パーソナルコンピュータからなり、映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌにおける歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌが歪み補正を行うための歪み補正テーブルの更新処理及び歪み補正パラメータの更新処理を行う。このマップ・パラメータ更新部５’は、内部に歪み補正パラメータ及び歪み補正テーブルを更新するためのプログラムを記憶し、内部コンピュータが当該プログラムを実行することによって、後述するように歪みを小さくするように歪み補正パラメータ及び歪み補正テーブルを更新する。

各歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌは、所定の視点位置から見た時に、立体視映像の歪みが最小になるように、歪み補正パラメータを用いて各分割映像データを補正する。この歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌによる歪み補正パラメータを用いた歪み補正処理は、図８に示すように、元映像である分割映像元データ１００Ｌ，１００Ｒに対して、歪み補正パラメータである各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの曲面スクリーン１に対する姿勢、位置、光学的仕様を用いて、歪み補正処理を施す。したがって、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌごとに曲面スクリーン１に対する姿勢及び位置が異なるので、それぞれの映像生成装置３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌによって異なる歪み補正パラメータによる歪み補正処理を行う必要がある。

そして、分割映像元データ１００Ｌ，１００Ｒに対して歪み補正パラメータを用いた歪み補正処理を施すことによって、当該分割映像元データ１００Ｌ，１００Ｒは、曲面スクリーン１に分割映像光２０ａ〜２０ｉを投影したときに所定の視点位置から歪み無く見えるように変換された補正分割映像データ１０１Ｌ，１０１Ｒとされる。そして、この補正分割映像データ１０１Ｌ，１０１Ｒは、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌに供給されて、分割映像光２０ａ〜２０ｉ（観察映像１０２Ｌ，１０２Ｒ）として曲面スクリーン１の投影領域１ａ〜１ｉに向けてそれぞれ投影されて、曲面スクリーン１上には、立体視映像１０３が表示される。

このような歪み補正パラメータを用いた歪み補正処理を行ったにも拘わらず、立体視映像生成システムにおいては、システム設置時での微小な取り付け誤差によるプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢ずれ及び位置ずれ、経時的なプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢ずれ及び位置ずれ、地震などの外乱的なプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢ずれ及び位置ずれがあると、立体視映像１０３中に歪みが発生してしまう。これに対し、本発明の実施形態として示す立体視映像生成システムは、当該歪みを簡単に補正して鮮明な映像を表示する。

すなわち、立体視映像生成システムは、複数のプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌのそれぞれから分割映像光２０ａ〜２０ｉを曲面スクリーン１に対して投影するに際して、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌから投影した分割映像光２０ａ〜２０ｉによって表示される曲面スクリーン１上の映像間のずれ量を求め、当該ずれ量が小さくなるように各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌによって曲面スクリーン１に表示させる映像の歪みを補正するパラメータを更新する。そして、更新したパラメータを用いて、分割映像元データ１００Ｌ，１００Ｒに対して再度歪み補正処理を行って補正分割映像データ１０１Ｌ，１０１Ｒを作成し、曲面スクリーン１に立体視映像１０３を表示させる処理を繰り返す。このように、観察映像１０２Ｌ，１０２Ｒのずれを許容値（閾値）以下とするまで、パラメータの更新処理及び更新したパラメータを用いた歪み補正処理を反復する。

このような歪み補正処理は、当該歪み補正処理に用いるパラメータのうち、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの曲面スクリーン１に対する姿勢を優先して更新して、観察映像１０２Ｌ，１０２Ｒのずれを小さくすることを試みる。この理由は、曲面スクリーン１に対するプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢のずれが、曲面スクリーン１上の立体視映像１０３の歪みに大きく影響することによる。

また、この歪み補正処理は、パラメータのうち各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの曲面スクリーン１に対する姿勢を優先して更新して、当該姿勢を更新したことによるずれ量の減少幅を最大とする。その後に、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの曲面スクリーン１に対する位置又は光学的仕様に含まれる各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌが投影する分割映像光２０ａ〜２０ｉの画角を更新し、最終的に光学的仕様に含まれる各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌが投影する分割映像光２０ａ〜２０ｉのシフト量を更新する。このように、最終的にプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌのシフト量を更新する理由は、パラメータとしてのプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの曲面スクリーン１に対する位置、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの画角と比較して、立体視映像１０３上のずれに与える影響が少ないので、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌのシフト量は微調整として更新することが望ましいことによる。

なお、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの曲面スクリーン１に対する位置と、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの画角とは、経験的に、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの画角を優先して更新することが望ましい。これは、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの位置を変更するよりもプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの画角を変更する方がずれ量の減少幅が大きいことによる。

このように構成された立体視映像生成システムは、複数のプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌのそれぞれから分割映像光２０ａ〜２０ｉを曲面スクリーン１に対して投影するに際して、図９に示す処理手順で動作することにより、上述したステップＳ１〜ステップＳ４と同様のステップＳ１１〜ステップＳ１４の処理を行う。

すなわち、先ずステップＳ１１においては、マップ・パラメータ更新部５’によって、初期設定されているパラメータを用いて、分割映像生成部３０Ａ_Ｌ〜３０Ｉ_Ｌにて生成された格子模様の分割映像データに対して歪み補正部３１Ａ_Ｌ〜３１Ｉ_Ｌによって歪み補正処理を行わせ、プロジェクタ２Ａ_Ｌ〜２Ｉ_Ｌから格子映像を曲面スクリーン１に投射させる。そして、マップ・パラメータ更新部５’は、ステップＳ１２において、ステップＳ１１にて曲面スクリーン１上に表示された左眼用に表示された映像をカメラ４によって撮像させて、当該撮像データを取得する。

ステップＳ１３においては、マップ・パラメータ更新部５’によって、初期設定されているパラメータを用いて、分割映像生成部３０Ａ_Ｒ〜３０Ｉ_Ｒにて生成された格子模様の分割映像データに対して歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒによって歪み補正処理を行わせ、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒから格子映像を曲面スクリーン１に投射させる。そして、マップ・パラメータ更新部５’は、ステップＳ１４において、ステップＳ１３にて曲面スクリーン１上に表示された右眼用に表示された映像をカメラ４によって撮像させて、当該撮像データを取得する。

次のステップＳ１５においては、マップ・パラメータ更新部５’によって、ステップＳ１２にて取得した左眼用に表示された格子映像とステップＳ１４にて取得した右眼用に表示された格子映像間の差（ずれ量）を計算する。このとき、マップ・パラメータ更新部５’は、下記式２に示すように、右眼用に表示した映像に含まれる格子点ｕ_ｉ，ｊの座標と、当該格子点に対応する左眼用に表示した映像に含まれる格子点ｕ_ｉ，ｊの座標との差の総和Ｅを求める。

次のステップＳ１６においては、マップ・パラメータ更新部５’により、上記式２にて求めた差の総和Ｅが、予め設定した第１閾値以下か否かを判定する。そして、差の総和Ｅが第１閾値以下である場合には処理を終了し、差の総和Ｅが第１閾値以下ではない場合には、ステップＳ１７に処理を進める。

ステップＳ１７においては、マップ・パラメータ更新部５’によって、歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌでの歪み補正に用いるパラメータを更新する命令を与える。このとき、マップ・パラメータ更新部５’は、最急降下法を用いて、現状での歪み補正パラメータβを、下記の式３に示すように正の重み係数αと、差（ずれ量）の総和Ｅとから式２の演算をして逐次更新する。

そして、このように更新された歪み補正パラメータは、各歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌに対して供給されて、ステップＳ１１に処理を戻す。なお、式３のβ_ｋは、各プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌごとの位置・姿勢、画角（水平・垂直）、シフト量（水平・垂直）であり、全部でプロジェクタ台数×１０個のパラメータである。

このような動作を行うことにより、立体視映像生成システムは、左眼映像と右眼映像との差が所定の第１閾値以下とするように歪み補正パラメータを更新する処理を反復することができる。また、この歪み補正パラメータを更新する時に、曲面スクリーン１に対するプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢を優先して更新し、その後に、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの位置、画角、シフト量を更新する。これにより、左眼映像と右眼映像とのずれに大きく影響する歪み補正パラメータを優先して調整し、その後に微調整を行って、確実に左眼映像と右眼映像とのずれ量を閾値以下とすることができる。

また、この立体視映像生成システムにおいては、曲面スクリーン１の形状に基づいて、左眼映像と右眼映像とのずれ量が小さくなるように歪み補正パラメータを更新することが望ましい。この理由としては、曲面スクリーン１の曲率が大きくなるほど、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢ずれなどに対する映像の歪みが大きくなるためである。これにより、曲面スクリーン１の形状に応じて発生する歪みを補正して、曲面スクリーン１の全面において歪みの小さい立体視映像を表示することができる。

このように歪み補正パラメータを更新して、左眼映像と右眼映像との差の総和Ｅが第１閾値以下となった場合には、処理をステップＳ１８に進める。このとき、各歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌにおける歪み補正テーブルは、当該歪み補正部３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌによって最適な歪み補正パラメータを反映するように更新されている。

ステップＳ１８においては、マップ・パラメータ更新部５’により、左眼映像と右眼映像との差の総和Ｅが所定の第２閾値以下か否かを判定する。この第２閾値は、ステップＳ１６にて判断された第１閾値よりも小さい値であり、上述の図４乃至図６を参照して説明したように歪み補正テーブルの更新を行う必要があるか否かを判断するための値が設定されている。なお、第１閾値は、歪み補正パラメータの反復更新によって経験的に認められる最大限近くまで左眼映像と右眼映像との差の総和Ｅが小さくなるように当該立体視映像生成システムの管理者によって設定され、第２閾値は、当該歪み補正パラメータの反復更新によって小さくされた左眼映像と右眼映像との差の総和Ｅを歪み補正テーブルの一度の更新によって略０とするために第１閾値より小さな値に設定される。

そして、マップ・パラメータ更新部５’は、左眼映像と右眼映像との差の総和Ｅが所定の第２閾値以下であると判定した場合には、上述の図４におけるステップＳ６と同様に、歪み補正テーブルのうち、内分比に基づいて右眼映像の格子点の座標値を更新して、処理を終了する。

このように構成された立体視映像生成システムによれば、一度の歪み補正テーブルの更新のみで左眼映像と右眼映像との差を修正するのではなく、その前に、歪み補正パラメータとしての曲面スクリーン１に対するプロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの姿勢、位置、プロジェクタ２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌの光学的仕様を更新して、左眼映像と右眼映像との差をできるだけ小さくする。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明の実施形態として示す立体視映像生成システムの構成を示す斜視図である。 本発明の実施形態として示す立体視映像生成システムの構成を示すブロック図である。 本発明の実施形態として示す立体視映像生成システムによって分割映像を曲面スクリーンに投影する様子を説明する斜視図である。 本発明の実施形態として示す立体視映像生成システムによる歪み補正テーブルを更新する原理を示す図である。 本発明の実施形態として示す立体視映像生成システムによって歪みを補正する動作を示すフローチャートである。 本発明の実施形態として示す立体視映像生成システムにおいて内分比に基づいて座標を変更することを説明する図である。 本発明の他の実施形態として示す立体視映像生成システムの構成を示すブロック図である。 本発明の実施形態として示す立体視映像生成システムによる歪み補正のパラメータを更新する原理を示す図である。 本発明の他の実施形態として示す立体視映像生成システムによって歪みを補正する動作を示すフローチャートである。 従来の技術における問題を説明する図である。

符号の説明

１ 曲面スクリーン
１ａ〜１ｉ 投影領域
２Ａ_Ｒ〜２Ｉ_Ｒ，２Ａ_Ｌ〜２Ｉ_Ｌ プロジェクタ
３ 映像生成モジュール
３Ａ_Ｒ〜３Ｉ_Ｒ，３Ａ_Ｌ〜３Ｉ_Ｌ 映像生成装置
４ カメラ
５ マップ更新部５
５’ マップ・パラメータ更新部
２０ａ〜２０ｉ 分割映像光
３０Ａ_Ｒ〜３０Ｉ_Ｒ，３０Ａ_Ｌ〜３０Ｉ_Ｌ 分割映像生成部
３１Ａ_Ｒ〜３１Ｉ_Ｒ，３１Ａ_Ｌ〜３１Ｉ_Ｌ 歪み補正部
１００Ｌ，１００Ｒ 分割映像元データ
１０１Ｌ，１０１Ｒ 補正分割映像データ
１０２Ｌ，１０２Ｒ 観察映像
１０３ 立体視映像

Claims (5)

1. 複数の投影手段のそれぞれから映像を任意形状の表示手段に対して投影するに際して、各投影手段から投影した映像によって表示される表示手段上の映像間のずれを求め、前記表示手段上に表示させる複数の映像のうち何れかの元映像の座標と歪み補正後映像の座標との対応関係を表す対応関係テーブルのうち、歪み補正後映像の座標を、前記求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理を行うことを特徴とする映像補正方法。
2. 前記複数の投影手段が、左眼映像を表示させる左眼用投影部と右眼映像を表示させる右眼用投影部とを含み、
   ずれを求める処理は、前記表示手段上の左眼映像及び前記表示手段上の右眼映像とを撮像して、双方の映像の差をずれとし、
   前記テーブル更新処理は、前記ずれに相当する方向及び距離だけ歪み補正後映像の座標をずらすこと
   を特徴とする請求項１に記載の映像補正方法。
3. 前記テーブル更新処理の前に、各投影手段から投影した映像によって表示される表示手段上の映像間のずれ量を求め、当該ずれ量が小さくなるように各投影手段によって表示手段に表示させる映像の歪みを補正するパラメータを更新する処理を反復した後に、前記表示手段上の映像間のずれを求め、前記求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理を行うことを特徴とする請求項１又は請求項２に記載の映像補正方法。
4. 複数の投影手段のそれぞれから映像を任意形状の表示手段に対して投影した時の映像を補正するコンピュータが実行するプログラムであって、
   各投影手段から投影した映像によって表示される表示手段上の映像間のずれを求める処理と、
   前記表示手段上に表示させる複数の映像のうち何れかの元映像の座標と歪み補正後映像の座標との対応関係を表す対応関係テーブルのうち、歪み補正後映像の座標を、前記求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新処理と
   をコンピュータに実行させることを特徴とするプログラム。
5. 立体視映像を表示する任意形状の表示手段と、
   前記表示手段に対して右眼映像と左眼映像とをそれぞれ投影する複数の投影手段と、
   前記各投影手段ごとに、元映像の座標と歪み補正後映像の座標との対応関係を表す歪み補正テーブルを記憶するテーブル記憶手段と、
   各投影手段から投影した映像によって表示される表示手段上の映像間のずれを求め、前記表示手段上に表示させる複数の映像のうち何れかの対応関係テーブルのうち、歪み補正後映像の座標を、前記求めた映像間のずれに相当する方向及び距離だけずらすテーブル更新手段と、
   前記テーブル更新手段により更新された歪み補正テーブルを用いて各投影手段から映像を投影するための映像データに対して歪み補正を行って、各投影手段から映像を投影させる歪み補正手段と
   を備えることを特徴とする立体視映像生成システム。

Images