JP2009005044A - 分割撮像による歪み補正と統合方法及びそのためのマッピング関数生成方法並びに分割撮像による歪み補正と統合装置及びそのためのマッピング関数生成装置 - Google Patents

Abstract

【課題】二次曲面スクリーンに複数プロジェクタからの映像を任意の視点から歪み無く見せる。
【解決手段】各プロジェクタｐｉからスクリーンに投影したテスト点の３次元復元を行い、１つの座標系に統合し、スリーン形状を推定し、各プロジェクタｐｉの位置姿勢を推定する。スクリーンの投影面を分割して撮影する複数の基準仮想カメラｖｍを備え、基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求め、スクリーンを見る位置に視点仮想カメラｅを設定し、視点仮想カメラｅと基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、さらに、マッピング関数Ψｖｍｐｉとにより、各プロジェクタと視点仮想カメラｅとの間のマッピング関数Ψｅｐｉを求める、とともにその逆関数を求める。各プロジェクタが投影する領域毎の映像をマッピングの逆関数により、歪み補正した映像をスクリーンに投影する。
【選択図】 図1

Description

この発明は、コンピュータグラフィックスにおける分割撮像による歪み補正と統合並びにそのためのマッピング関数の生成方法及びこれらの装置、さらにはその応用に関するものである。

訓練用シミュレータや研究用シミュレータにおいて没入感・臨場感を得るためには、高い解像度と広い視野が要求される。これをコストパフォーマンス良く実現する方法として、平面スクリーンに多数のプロジェクタから逆歪みをかけた映像を投影して連続した画像に統合するプロジェクタモザイクあるいはマルチプロジェクション技術が期待されている。従来から電子回路やレンズを用いて光学的に歪みを補正する方法は広く用いられていたが、スクリーンのサイズが固定されたり、プロジェクタ設置時の調整が複雑など多くの問題がある。また、複数配置して大画面を構成するため、境目を緩和する専用回路付きの高価なプロジェクタが必要となり、位置合わせやプロジェクタの特性および経年変化による輝度ズレの調整などにも多大の時間と労力を要する。
また、非特許文献１に示したように、設置位置が不明なプロジェクタｊ（１…ｎ）から投影した映像と、同様に設置位置が不明なカメラで撮像したスクリーン上の歪み映像とが３行３列のマトリクスにより対応づけられ、このマトリクスを利用してプロジェクタ座標の映像に逆歪みをかけ、映像の歪み補正を行うものがあるが、平面スクリーンに限られている。
社団法人情報処理学会、「ＦＩＴ２００３ 情報科学技術フォーラム 一般講演論文集 第３分冊」二〇〇三年八月二十五日発行、ｐ．４０１〜４０３

本発明は、部分画像を投影する比較的低解像度のプロジェクトを複数台用いて、高解像度の大画面をドーム等の二次曲面スクリーン上に表示する実時間映像発生が容易になる方法および手段を提供することにある。

上記課題を解決するため請求項１に係る分割撮像による歪み補正と統合のためのマッピング関数生成方法は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記複数のプロジェクタごとに分割されたスクリーンを撮影するように配置されたステレオカメラと、コンピュータと、記憶装置とを有し、コンピュータによる処理であって、各プロジェクタｐｉからスクリーンに投影したテスト点の３次元復元を前記ステレオカメラによる行う第１の過程と、前記復元した各プロジェクタｐｉの３次元点を１つの座標系に統合し、統合後の３次元点からスクリーン形状を表す２次曲面係数行列（Ｑ）を推定する第２の過程と、前記統合後の各プロジェクタｐｉの３次元点とこれに対応するテスト点の２次元点から各プロジェクタｐｉの位置姿勢（Ｐ）を推定する第３の過程と、前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタｐｉが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）を備え、前記推定した２次曲面係数行列（Ｑ）と、前記複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）の位置姿勢と前記推定した各プロジェクタｐｉの位置姿勢（Ｐ）から、基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求める第４の過程と、前記二次曲面スクリーンを見る位置に位置姿勢情報を持つ視点仮想カメラｅを設定し、当該視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第４の過程によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと視点仮想カメラｅとの間のマッピング関数Ψｅｐｉを求める第５の過程と、前記第５の過程のマッピング関数Ψｅｐｉによりその逆関数を求める第６の過程と、からなることを特徴とするものである。

上記課題を解決するため請求項２に係る分割撮像による歪み補正と統合のためのマッピング関数生成方法は、請求項１において、第４の過程が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化することを特徴とするものである。

上記課題を解決するため請求項３に係る分割撮像による歪み補正と統合方法は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項４に係る分割撮像による歪み補正と統合のためのマッピング関数生成方法は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記複数のプロジェクタごとに分割されたスクリーンを撮影するように配置されたステレオカメラと、コンピュータと、記憶装置とを有し、コンピュータによる処理であって、各プロジェクタｐｉからスクリーンに投影したテスト点の３次元復元を前記ステレオカメラによる行う第１の過程と、前記復元した各プロジェクタｐｉの３次元点を１つの座標系に統合し、統合後の３次元点からスクリーン形状を表す２次曲面係数行列（Ｑ）を推定する第２の過程と、前記統合後の各プロジェクタｐｉの３次元点とこれに対応するテスト点の２次元点から各プロジェクタｐｉの位置姿勢（Ｐ）を推定する第３の過程と、前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタｐｉが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）を備え、前記推定した２次曲面係数行列（Ｑ）と、前記複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）の位置姿勢と前記推定した各プロジェクタｐｉの位置姿勢（Ｐ）から、基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求める第４の過程と、前記二次曲面スクリーンを見る右目又は左目のいずれか一方の位置に位置姿勢情報を持つ右目（又は左目）用の視点仮想カメラｅを設定し、当該右目（又は左目）用の視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第４の過程によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと右目（又は左目）用の視点仮想カメラｅとの間の右目（又は左目）用のマッピング関数Ψｒ（ｌ）ｅｐｉを求め、前記二次曲面スクリーンを見る前記右目又は左目のいずれか一方と異なる他方の位置に位置姿勢情報を持つ左目（又は右目）用の視点仮想カメラｅを設定し、当該左目（又は右目）用の視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第４の過程によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと左目（又は右目）用の視点仮想カメラｅとの間の左目（又は右目）用のマッピング関数Ψｌ（ｒ）ｅｐｉを求める第５の過程と、前記第５の過程の右目用及び左目用のマッピング関数Ψｒｅｐｉ，Ψｌｅｐｉによりその逆関数を求める第６の過程と、からなることを特徴とするものである。

上記課題を解決するため請求項５に係る分割撮像による歪み補正と統合のためのマッピング関数生成方法は、請求項４において、第４の過程が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化することを特徴とするものである。

上記課題を解決するため請求項６に係る分割撮像による歪み補正と統合方法は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項４又は請求項５において求めた各プロジェクタ毎の右目用及び左目用のマッピング関数Ψｒｅｐｉ，Ψｌｅｐｉの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項７に係る分割撮像による歪み補正と統合方法は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、コンピュータと、記憶装置とを有し、前記コンピュータにより各プロジェクタが投影する領域毎の映像を生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項８に係る分割撮像による歪み補正と統合方法は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項９に係る分割撮像による歪み補正と統合方法は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項４において求めた各プロジェクタ毎の右目用及び左目用のマッピング関数の逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、各プロジェクタから前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項１０に係る分割撮像による歪み補正と統合方法は、二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通にして重複する部分を有するように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第２の過程からなることを特徴とするものである。

上記課題を解決するため請求項１１に係る分割撮像による歪み補正と統合方法は、請求項８又は請求項９又は請求項１０記載のものにおいて、ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とするものである。

上記課題を解決するため請求項１２に係る分割撮像による歪み補正と統合方法は、請求項３又は請求項６又は請求項７又は請求項８又は請求項９又は請求項１０又は請求項１１に記載のものにおいて、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、コンピュータと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラとを有し、前記スクリーンに前記プロジェクタのいずれもから投影しない状態でステレオカメラにより撮影する第１の過程と、前記各プロジェクタより前記スクリーンに黒状態の映像を投影してステレオカメラにより撮影するとともに複数ｎのプロジェクタのｎ回繰り返す第２の過程と、コンピュータにおいて、第２の過程による各プロジェクタ毎の映像の輝度から第１の過程により得られた映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得る第３の過程と、コンピュータにおいて、一定周期で投影する映像の輝度を計測し、その平均値に従って、明画像か暗画像かを判定し、暗画像の場合に、各プロジェクタの映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分下げて映像生成する第４の過程とからなることを特徴とするものである。

上記課題を解決するため請求項１３に係る分割撮像による歪み補正と統合方法は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ前方に設けた偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピング関数の逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程と、夜間情景を表すときに前記偏光板により減光させる第３の過程からなることを特徴とするものである。

上記課題を解決するため請求項１４に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラと、前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタｐｉが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）と、前記二次曲面スクリーンを見る位置に配置された位置姿勢情報を持つ視点仮想カメラｅと、コンピュータと、記憶装置とを有し、各プロジェクタｐｉからスクリーンに投影したテスト点をステレオカメラで撮像して３次元復元を行うテスト点３次元復元手段と、前記復元した各プロジェクタｐｉの３次元点を１つの座標系に統合し、統合後の３次元点からスクリーン形状を表す２次曲面係数行列（Ｑ）を推定する２次曲面係数行列（Ｑ）推定手段と、前記統合後の各プロジェクタｐｉの３次元点とこれに対応するテスト点の２次元点から各プロジェクタｐｉの位置姿勢（Ｐ）を推定するプロジェクタ位置姿勢推定手段と、前記推定した２次曲面係数行列（Ｑ）と、前記複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）の位置姿勢と前記推定した各プロジェクタｐｉの位置姿勢（Ｐ）から、基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求める第１のマッピング関数計算手段と、当該視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第１のマッピング関数計算手段によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと視点仮想カメラｅとの間のマッピング関数Ψｅｐｉを求める第２のマッピング関数計算手段と、前記第２のマッピング関数計算手段によるマッピング関数Ψｅｐｉによりその逆関数を求める逆関数計算手段と、前記複数プロジェクタ毎にマッピング関数Ψｖｍｐｉ，Ψｅｐｉ及びその逆関数を格納する記憶装置とからなることを特徴とするものである。

上記課題を解決するため請求項１５に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置は、請求項１４に記載のものにおいて、第１のマッピング関数計算手段が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化する最適化手段を備えることを特徴とするものである。

上記課題を解決するため請求項１６に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタとからなることを特徴とするものである。

上記課題を解決するため請求項１７に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラと、前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタｐｉが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）と、前記二次曲面スクリーンを見る右目の位置に配置された位置姿勢情報を持つ右目用の視点仮想カメラｅｒ及び左目の位置に配置された位置姿勢情報を持つ左目用の視点仮想カメラｅｌと、コンピュータと、記憶装置とを有し、各プロジェクタｐｉからスクリーンに投影したテスト点をステレオカメラで撮像して３次元復元を行うテスト点３次元復元手段と、前記復元した各プロジェクタｐｉの３次元点を１つの座標系に統合し、統合後の３次元点からスクリーン形状を表す２次曲面係数行列（Ｑ）を推定する２次曲面係数行列（Ｑ）推定手段と、前記統合後の各プロジェクタｐｉの３次元点とこれに対応するテスト点の２次元点から各プロジェクタｐｉの位置姿勢（Ｐ）を推定するプロジェクタ位置姿勢推定手段と、前記推定した２次曲面係数行列（Ｑ）と、前記複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）の位置姿勢と前記推定した各プロジェクタｐｉの位置姿勢（Ｐ）から、基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求める第１のマッピング関数計算手段と、当該右目（又は左目）用の視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第１のマッピング関数計算手段によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと右目（又は左目）用の視点仮想カメラｅとの間の右目（又は左目）用のマッピング関数Ψｒ（ｌ）ｅｐｉを求め、当該左目（又は右目）用の視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第１のマッピング関数計算手段によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと左目（又は右目）用の視点仮想カメラｅとの間の左目（又は右目）用のマッピング関数Ψｌ（ｒ）ｅｐｉを求める第２のマッピング関数計算手段と、前記第２のマッピング関数計算手段の右目用及び左目用のマッピング関数Ψｒｅｐｉ，Ψｌｅｐｉによりその逆関数を求める逆関数計算手段と、前記複数プロジェクタ毎にマッピング関数Ψｖｍｐｉ，Ψｅｐｉ及びその逆関数を格納する記憶装置とからなることを特徴とするものである。

上記課題を解決するため請求項１８に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置は、請求項１７に記載のものにおいて、第１のマッピング関数計算手段が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化する最適化手段を備えることを特徴とするものである。

上記課題を解決するため請求項１９に係る分割撮像による歪み補正と統合装置は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項１７又は請求項１８において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタとからなることを特徴とするものである。

上記課題を解決するため請求項２０に係る分割撮像による歪み補正と統合装置は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、コンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数ｎのプロジェクタとからなることを特徴とするものである。

上記課題を解決するため請求項２１に係る分割撮像による歪み補正と統合装置は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、前記歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎの各プロジェクタとからなることを特徴とするものである。

上記課題を解決するため請求項２２に係る分割撮像による歪み補正と統合装置は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１７において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数ｎの各プロジェクタからなることを特徴とするものである。

上記課題を解決するため請求項２３に係る分割撮像による歪み補正と統合装置は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数ｎのプロジェクタからなることを特徴とするものである。

上記課題を解決するため請求項２４に係る分割撮像による歪み補正と統合装置は、請求項２１又は請求項２２又は請求項２３記載のものにおいて、ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とするものである。

上記課題を解決するため請求項２５に係る分割撮像による歪み補正と統合装置は、請求項１６又は請求項１９又は請求項２０又は請求項２１又は請求項２２又は請求項２３又は請求項２４に記載のものにおいて、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラとを有し、プロジェクタの何れからも投影しない第１の状態のスクリーンを撮影するとともに前記各プロジェクタより黒状態を投影したスクリーンの第２の状態をプロジェクタ毎に撮影するカメラと、前記カメラが撮影した前記第２の状態を投影した各プロジェクタ毎の映像の輝度から、前記第１の状態を撮影した映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得るオフセット計算手段と、前記各コンピュータにより、一定周期で投影する映像の輝度を計測し、その平均値に従って、明画像か暗画像かを判定し、暗画像の場合に、各プロジェクタ毎の映像の前記重複する部分のコントラストを前記オフセット値分下げるとともに輝度をオフセット値分上げて映像生成する映像生成手段とからなることを特徴とするものである。

上記課題を解決するため請求項２６に係る分割撮像による歪み補正と統合装置は、二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタと、前記各プロジェクタ前方に設け、夜間情景を表すときに各プロジェクタからの光量を減光させる偏光板とからなることを特徴とするものである。

上記課題を解決するため請求項２７に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置は、請求項１４又は請求項１５又は請求項１７又は請求項１８に記載のものにおいて、各プロジェクタが自由度を持ったフレキシブルアームにより床面に設置されたことを特徴とするものである。

上記課題を解決するため請求項２８に係る分割撮像による歪み補正と統合装置は、請求項１６又は請求項１９〜２６のいずれかに記載のものにおいて、各プロジェクタが自由度を持ったフレキシブルアームにより床面に設置されたことを特徴とするものである。

請求項１に係る分割撮像による歪み補正と統合のためのマッピング関数生成方法によると、二次曲面スクリーンに投影したテスト点をもとにスクリーン形状を推定し、視点位置及びプロジェクタ位置との空間的相対関係を求め、二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求め、二次曲面スクリーンを見る位置に位置姿勢情報を持つ視点仮想カメラｅを設定し、各プロジェクタと視点仮想カメラｅとの間のマッピング関数Ψｅｐｉを求めるから、パラメトリックなスクリーンに対してカメラ位置と実際の視点位置が異なる場合でも、カメラ位置を計測せずに、基準点を数学的に求めて高精度にマッピング関数を求めることができ、広視野角スクリーンに適用することができる。

請求項２に係る分割撮像による歪み補正と統合のためのマッピング関数生成方法によると、請求項１における、第４の過程が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化することができる。

請求項３に係る分割撮像による歪み補正と統合方法によると、１つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる映像をスクリーンに投影したときに正しく見えるように補正してレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項４に係る分割撮像による歪み補正と統合のためのマッピング関数生成方法によると、二次曲面スクリーンに投影したテスト点をもとにスクリーン形状を推定し、視点位置及びプロジェクタ位置との空間的相対関係を求め、二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求め、二次曲面スクリーンを見る位置に位置姿勢情報を持つ右目用及び左目用の視点仮想カメラｅを設定し、各プロジェクタと右目用及び左目用の視点仮想カメラｅとの間のマッピング関数Ψｒｅｐｉ，ｌｅｐｉを求めるから、パラメトリックなスクリーンに対してカメラ位置と実際の視点位置が異なる場合でも、カメラ位置を計測せずに、基準点を数学的に求めて高精度にマッピング関数を求めることができ、広視野角スクリーンに適用することができる。

請求項５に係る分割撮像による歪み補正と統合のためのマッピング関数生成方法によると、請求項４における、第４の過程が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化することができる。

請求項６に係る分割撮像による歪み補正と統合方法によると、１つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる領域の映像をスクリーンに投影したときに正しく見えるように補正して右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項７に係る分割撮像による歪み補正と統合方法によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。

請求項８に係る分割撮像による歪み補正と統合方法によると、１つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項９に係る分割撮像による歪み補正と統合方法によると、１つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項１０に係る分割撮像による歪み補正と統合方法によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。

請求項１１に係る分割撮像による歪み補正と統合方法によると、ビデオ機器としてテレビジョン装置、ビデオ再生装置、パーソナルコンピュータ等の家庭用の機器を用いて、簡単に実現することができる。

請求項１２に係る分割撮像による歪み補正と統合方法によると、一定周期で投影する映像の輝度を計測し、その平均値に従って、シーンごとに明画像か暗画像かを判定し、暗画像の場合に、オフセットを変更するから、黒を出した状態でのプロジェクタ投影領域の重複部分における輝度の目立ちを軽減することができ、特別なブレンディング用装置を必要とすることなく、例えばグラフィックスボードの機能を用いて実現することができる。

請求項１３に係る分割撮像による歪み補正と統合方法によると、段階的に減光することができるため最適な減光率に調整が行うことができるので各プロジェクタによる投影領域の重複部分がより目立たなくすることが可能となる。

請求項１４に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置によると、二次曲面スクリーンに投影したテスト点をもとにスクリーン形状を推定し、視点位置及びプロジェクタ位置との空間的相対関係を求め、二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求め、二次曲面スクリーンを見る位置に位置姿勢情報を持つ視点仮想カメラｅを設定し、各プロジェクタと視点仮想カメラｅとの間のマッピング関数Ψｅｐｉを求めるから、パラメトリックなスクリーンに対してカメラ位置と実際の視点位置が異なる場合でも、カメラ位置を計測せずに、基準点を数学的に求めて高精度にマッピング関数を求めることができ、広視野角スクリーンに適用することができる。

請求項１５に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置によると、請求項１４において、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化することができる。

請求項１６に係る分割撮像による歪み補正と統合装置によると、１つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる映像をレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項１７に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置によると、二次曲面スクリーンに投影したテスト点をもとにスクリーン形状を推定し、視点位置及びプロジェクタ位置との空間的相対関係を求め、二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求め、二次曲面スクリーンを見る位置に位置姿勢情報を持つ右目用及び左目用の視点仮想カメラｅを設定し、各プロジェクタと右目用及び左目用の視点仮想カメラｅとの間のマッピング関数Ψｒｅｐｉ，ｌｅｐｉを求めるから、パラメトリックなスクリーンに対してカメラ位置と実際の視点位置が異なる場合でも、カメラ位置を計測せずに、基準点を数学的に求めて高精度にマッピング関数を求めることができ、広視野角スクリーンに適用することができる。

請求項１８に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置によると、請求項４における、第４の過程が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化することができる。

請求項１９に係る分割撮像による歪み補正と統合装置によると、１つの二次曲面スクリーンに投影する映像を複数のプロジェクタとそれらに備えたコンピュータにより生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、複数のプロジェクタに備えたコンピュータの処理は、それぞれ異なる領域の映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、従来のようにデータベース映像の解像度に依存せずに、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項２０に係る分割撮像による歪み補正と統合装置によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。

請求項２１に係る分割撮像による歪み補正と統合装置によると、１つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項２２に係る分割撮像による歪み補正と統合装置によると、１つの二次曲面スクリーンに投影する映像をビデオ機器により生成し、投影するため、解像度を高くすることができ、映像の細かな部分を表示することができ、また、ビデオ機器の映像の処理は、分割したそれぞれプロジェクタ毎に異なる映像を右目用と左目用についてレンダリングすることで、レンダリングの負荷を軽減することができる。また、異なる投影領域の部分映像を高解像度でレンダリングすることができるため、スクリーンに投影される映像の解像度を向上させることができる。これにより、プロジェクタの数を増加させることでスクリーン上の映像の解像度を向上させることができる。

請求項２３に係る分割撮像による歪み補正と統合装置によると、プロジェクタを数台使用し投影領域を重ね合わせることよって投影領域の明るさを向上させるため、高価なプロジェクタを使用せず必要な明るさを得ることができ、プロジェクタの台数の変更により投影領域の明るさを調整することができ、プロジェクタの重ね合わせと歪み補正を組み合わせることにより、決まった位置の明るさを向上させることができる。

請求項２４に係る分割撮像による歪み補正と統合装置によると、ビデオ機器としてテレビジョン装置、ビデオ再生装置、パーソナルコンピュータ等の家庭用の機器を用いて、簡単に実現することができる。

請求項２５に係る分割撮像による歪み補正と統合装置によると、一定周期で投影する映像の輝度を計測し、その平均値に従って、シーンごとに明画像か暗画像かを判定し、暗画像の場合に、オフセットを変更するから、黒を出した状態でのプロジェクタ投影領域の重複部分における輝度の目立ちを軽減することができ、特別なブレンディング用装置を必要とすることなく、例えばグラフィックスボードの機能を用いて実現することができる。

請求項２６に係る分割撮像による歪み補正と統合装置によると、段階的に減光することができるため最適な減光率に調整が行うことができるので各プロジェクタによる投影領域の重複部分がより目立たなくすることが可能となる。

請求項２７に係る分割撮像による歪み補正と統合のためのマッピング関数生成装置によると、スクリーンとプロジェクタを設置する床面との位置関係を厳密に設定しなくともフレキシブルアームにより調整幅が広範囲となるため、短時間で表示システムを構成することができる。

請求項２８に係る分割撮像による歪み補正と統合装置によると、スクリーンとプロジェクタを設置する床面との位置関係を厳密に設定しなくともフレキシブルアームにより調整幅が広範囲となるため、短時間で表示システムを構成することができる。

（［１］二次曲面スクリーンに係るマッピング関数、その逆関数及び映像発生）
以下、本発明を説明するための前提技術例について図を参照して説明する。図５（ａ），（ｂ），（ｃ）は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図６（ａ）は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図６（ｂ）は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図５において、５０５は二次曲面スクリーン、５０２ｊ（ｊ＝１，２，３，…ｎ）は前記スクリーン前方に設けられるプロジェクタ、５０３ｊは前記プロジェクタ５０２ｊ毎に対応して備えられる複数のコンピュータである。５０４１，５０４２はデジタルカメラ、５０５は前記デジタルカメラ５０４を接続するコンピュータ、５０６はコンピュータ５０５内の変換行列計算手段、５０７はコンピュータ５０５内の二次曲面パラメータ（Ｑｖ）計算手段、５０８はコンピュータ５０５内の記憶装置、５０９ｊは各コンピュータ５０３ｊ内のマッピング関数及び逆関数計算手段、５１０ｊは各コンピュータ５０３ｊ内の記憶装置、５１１ｊは各コンピュータ５０３ｊに備えられる画像生成手段、５１２ａｊ，５１２ｂｊは各コンピュータ５０３ｊに備えられるピクセルバッファであり、当該コンピュータ５０３ｊ、画像生成手段５１１ｊとともに映像生成手段を構成する。５１３は各コンピュータ５０３ｊ，５０５を接続するネットワークである。５１４ｊは各コンピュータ５０３ｊのオフセット計算手段である。

（プロジェクタの配置取り付け）
二次曲面スクリーン５０５はその面が二次曲面例えば円筒形型又は球面を形成し、周囲を円形に形成している。図７（ａ）は、円筒型の一部側面を欠いた形状をしたものを示し、二次曲面スクリーン５０５は床面である基台７０１の上に側面を垂直にして固定される。スクリーン５０５の周囲に所定の間隔で柱７０３１，７０３２，７０３３，７０３４，７０３５が設けられる。柱７０３１，７０３２，７０３３，７０３４，７０３５のそれぞれには、フレキシブルアーム７０５１，７０５２，７０５３，７０５４，７０５５が取り付けられる。フレキシブルアーム７０５１，７０５２，７０５３，７０５４，７０５５には、プロジェクタ５０２１，５０２２，５０２３，５０２４，５０２５がそれぞれ取り付けられ、二次曲面スクリーン５０５の凸面を間にして凹面に対向するように周囲に位置させる。図７（ｂ）に例えばフレキシブルアーム７０５１とプロジェクタ５０２１の連結状態を示す。プロジェクタ５０２１，５０２２，５０２３，５０２４，５０２５から二次曲面スクリーン５０５に光を投影すると、図７（ｃ）のように二次曲面スクリーン５０５に上方から見た場合で説明すると、５つの投影光の互いに隣接する領域が互いに重なる部分を有するように連続し、途中に光が当たらない部分が生じないように、フレキシブルアーム７０５１，７０５２，７０５３，７０５４，７０５５を調整する。この時、各プロジェクタ５０２１，５０２２，５０２３，５０２４，５０２５からの各投影領域（各領域を一点鎖線、二点鎖線、三点鎖線、四点鎖線で示している。）がスクリーンをカバーしていればよく、形状、面積を同じにする必要はない。
なお、実施例において、二次曲面スクリーン５０５を円筒型としたがこれに限らず球面と双曲面、楕円面等で形成しても良く、また、表示面を凹面にしたが凸面でも良い。さらに、プロジェクタの数を５の場合を説明するが、数に制限なく本発明が適用できる。

（歪み補正の原理）
視点と視点と投影中心が一致する場合、映像歪みは生じない。しかし、一般的には視点と投影中心は一致しないため歪みが発生する。この歪みを補正するには、視点から見て歪みが無くなるように、予め、投影する原画像に対して逆の歪みをかけて投影すれば良い。
図８に逆歪みによる歪み補正の模式図を示す。図８では、プロジェクタの投影により発生する歪ｆを映像発生時ｆ^−１で逆歪をかけて投影するとｆ（ｆ^−１）で歪が相殺されることを示している。すなわち、プロジェクタ映像とスクリーン上の歪を関係付けるマッピング関数ｆを求める。その逆関数ｆ^−１はマッピング関数より求められる。図８では歪みを検出する段階において設置するカメラ位置及び方向が視点及び視線方向と同じであると想定している。

以下の手順により、マッピング関数を求める。
（［１−１］スクリーン上の複数点の３Ｄ座標位置の計測）
いずれかの例えばプロジェクタ５０２ｊから光点を二次曲面スクリーン５０５に投影する。光点は、予め定められたテストパターンを構成する所定の座標点を示す。この光点をステレオカメラを構成するデジタルカメラ５０４１，５０４２で撮像することにより三次元位置Ｐ_ｉを三角測量の原理から求める。ｉは点数を示す。このときステレオカメラは所定のキャリブレーション処理によりそれぞれのカメラのレンズの焦点距離や画素数の内部特性を示す内部パラメータ及び外部位置関係を示す外部パラメータが分かっていることを前提としている。左カメラ５０４１の内部及び外部パラメータを表すマトリクスをＡ_ｃ１、Ｍ_ｃ１とする。同様に右カメラ５０４２の内部及び外部パラメータを表すマトリクスをＡ_ｃ２、Ｍ_ｃ２とする。このとき、スクリーン上三次元位置Ｐ_ｉと左カメラ画像上の光点の位置ｐ_ｉ ^ｃ１、右カメラ画像上の光点の位置ｐ_ｉ ^ｃ２との関係は
ｐ_ｉ ^ｃ１＝Ａ_ｃ１Ｍ_ｃ１Ｐ_ｉ
ｐ_ｉ ^ｃ２＝Ａ_ｃ２Ｍ_ｃ２Ｐ_ｉ （１）
で表される。ここで、Ｍ_ｃ１、Ｍ_ｃ２は
Ｍ_ｃ１＝［Ｉ｜０］
Ｍ_ｃ２＝［Ｒ_ｃ２｜Ｔ_ｃ２］ （２）
である。
左カメラ５０４１の投影中心を座標の原点とするため、左カメラ５０４１の外部パラメータＭ_ｃ１は単位マトリクスＩを用いて表される。また、右カメラ５０４２の投影中心は左カメラ５０４１の投影中心から回転Ｒ_ｃ２、平行移動Ｔ_ｃ２させた位置となるため、右カメラ５０４２の外部パラメータＭ_ｃ２はＲ_ｃ２、Ｔ_ｃ２を用いて表すことができる。図９、図１０において、左カメラ５０４１の投影中心（Ｃｅｎｔｅｒ Ｏｆ Ｐｒｏｊｅｃｔｉｏｎ）（以後ＣＯＰと呼ぶ場合がある。）をＣＯＰ_ｃ１、右カメラ５０４２のＣＯＰをＣＯＰ_ｃ２とする。また、各カメラのＣＯＰと画像上の光点の位置を結んだ直線をｌ_ｃ１、ｌ_ｃ２とするとスクリーン上の三次元位置Ｐ_ｉはｌ_ｃ１、ｌ_ｃ２を用いてこれらの交点に推定することができる。交点が見つからないときは、ｌ_ｃ１、ｌ_ｃ２の距離が最小となる共通法線を求め、その法線の中点をＰ_ｉとして決定する。また、プロジェクタ画像座標上の光点の位置をｐ_ｉ ^ｐｊ、プロジェクタの内部パラメータを表すマトリクスをＡ_ｐｊとすると、ｐ_ｉ ^ｐｊ、Ａ_ｐｊ、Ｐ_ｉ、左カメラ５０４１のＣＯＰを原点としたときのプロジェクタの回転マトリクスＲ_ｐｊ、平行移動マトリクスＴ_ｐｊは以下の関係を持つ。
ｐ_ｉ ^ｐｊ＝Ａ_ｐｊ［Ｒ_ｐｊ｜Ｔ_ｐｊ］Ｐ_ｉ （３）
ここで、ｊはプロジェクタ数を表す。また、プロジェクタ画像座標上の位置ｐ_ｉ ^ｐｊはテストパターンの点の位置であるため既知である。Ａ_ｐｊは所定のキャリブレーション処理により得ているため既知である。よって、ｐ_ｉ ^ｐｊ，Ａ_ｐｊ，Ｐ_ｉを用いてＲ_ｐｊ，Ｔ_ｐｊを求めることができる。Ｒ_ｐｊ，Ｔ_ｐｊは対応関係を持つすべてのｐ_ｉ ^ｐｊ，Ｐ_ｉを用いて繰り返し計算を行ない、誤差が最小となるときの値を用いる。これらの計算は、カメラ５０４１，５０４２が接続されるコンピュータ５０５において行われ、これらの計算結果は記憶装置５０８に記憶される。
次に、以上の方法を用いて得られたプロジェクタの内部パラメータを利用して二次曲面の種類（球面、双曲面、楕円面等）と形状を表す情報である二次曲面パラメータＱを求める。

（［１−２］二次曲面パラメータＱの計算）
マッピング関数ｆ（）を求めるためには二次曲面Ｑを求める必要がある。そこでまず、左カメラ５０４１のプロジェクションマトリクスをＰ^ｃ１、プロジェクタのプロジェクションマトリクスをＰ_ｊ ^ｐｒｊとして、これらのプロジェクションマトリクス、左カメラ画像上の光点の位置ｐ_ｉ ^ｃ１、プロジェクタ画像座標上のテストパターンの一光点であるコーナー位置ｐ_ｉ ^ｐｊを用いて、三次元位置Ｐ_ｉを求める。求める方法としてはステレオカメラで三次元位置を求めた場合と同様の方法を用いる。計算は、カメラ５０４１，５０４２が接続されるコンピュータ５０５において行われる。ここで、Ｐ^ｃ１、Ｐ_ｊ ^ｐｒｊは以下のように表される。
Ｐ^ｃ１ ＝Ａ_ｃ１［Ｉ｜０］
Ｐ_ｊ ^ｐｒｊ＝Ａ_ｐｊ［Ｒ_ｐｊ｜Ｔ_ｐｊ］ （４）
求めた三次元位置Ｐ_ｉが二次曲面Ｑの上にあるとき、

であり、この関数をＱの要素を並べたベクトル《Ｖ》を用いて変形すれば、

（ここで、例えば《ｈ′》はベクトルｈ′を示す表記である。なお、この明細書、図面においてベクトル表記を、《 》を用いた場合と、矢印を上部に付した場合と白抜き又は肉太の場合とで併用して表す場合がある。）
Ｎ点（Ｎ≧９）用いれば、以下の連立方程式が成立する。
Ｘ《Ｖ》 ＝ 《０》
但し ＸはＮ行１０列のマトリクスである。
この連立方程式を解けば、《Ｖ》、即ちＱが求まる。

（［１−３］マッピング関数ｆ（）の導出の原理）
二次曲面例えばスクリーン上の１点

を、異なる視点即ちプロジェクタ５０２ｊ及びカメラ５０４１又は５０４２から見たときの像ｐ_ｉ及びｐ_ｉ′の関係を示すマッピング関数ｆを求める。以下、図１１をもとに説明する。すなわち、カメラの位置及び方向が視点及び視線方向と同じである場合を考える。
今、射影空間Ｐ^２における点を

、射影空間ｐ^３における対応する点を

とすれば、

の対応がある。但し、式中のｔは転置を示す。
また、Ｐ^３の点

をプロジェクタの座標系Ψから見たｐ^２の点を

、カメラ座標系Ψ′から見た点を

とすれば、

ここで、

はΨ′におけるエピポールであり、Ｈはホモグラフィー行列である。
今、

が二次曲面上にあるとの制約を課すと、

より

これを展開して、次のλに関する二次方程式を得る。（λは図１１の

と

との関係を示す倍率

、Ｑ_３３は二次曲面規定マトリクスＱの上から３×３部を抜き出したもので回転を示す。また、《ｑ》は平行移動量、
である。）

ｑ_４４＝１として良いので、これを解き、λを求めると、

式（８）に、このλを代入して整理すれば、

となる。
右辺は

でまとめられ、次式を得る。

と置けば次式となる。

これが、カメラ設置位置と視点が一致する場合における、スクリーン５０５に投影された点

をプロジェクタ座標Ψから見た点

と、カメラ座標系Ψ′から見た点

の対応を示すマッピング関数

である。

（［１−４］対角化仮想カメラ法によるマッピング関数）
（［１−４−１］原理）
カメラ設置位置と視点が一致しない場合でも、スクリーンの形状情報を用いて、視点にカメラを仮想的に移してキャリブレーションが行えることを説明する。
訓練装置等の精度を要求される表示システムにおいては、視点位置は基準点からの変位により規定されるのが普通である。例えば、ドームスクリーンの場合ドーム中心を通る基線の後方１ｍなどと基準点からの変位で規定される。図１２に、基準点１２０１、カメラ１２０２の設置位置及び姿勢、並びに１２０３で参照される視点及び視線方向すなわち仮想カメラの位置及び姿勢の関係を示す。設置位置・姿勢が不確かなカメラから、指定された視点位置・姿勢に直接移す回転・平行移動量を求めると考えず、一旦基準点に正確に移し、この点からの変位を用いて最終的に指定された視点位置・姿勢に移動すると二段階で考える。この考えに立てば、スクリーンが二次曲面の場合、一般的に基準点はスクリーンの中心であるので、カメラを任意の位置・姿勢から基準点の位置・姿勢へ移動することは、二次曲面規定行列の対角化に対応する。この対応を用いればカメラの姿勢位置を実際に計測することなく、曖昧な位置姿勢から基準点への移動量が正確に求まり、最終的に指定された視点の位置姿勢へ移動できる。これは、カメラを仮想的に指定の視点位置姿勢に配置してキャリブレーションを行ったことに対応する。

（［１−４−２］対角化による中心への移動）
カメラ座標系で求めた二次曲面の種類と形状を表す情報である二次曲面パラメータをＱ、視点を原点とする視点座標系における二次曲面パラメータをＱ_ｖとする。両者の関係は、Ｈを視点座標系からカメラ座標系への変換（移動、回転）行列として次式で与えられる。
Ｑ_ｖ ＝ Ｈ^ｔＱＨ （１６）
二次曲面パラメータＱは、前記（［１−２］二次曲面パラメータＱの計算）により説明した方法で得られる。
カメラ座標系から二次曲面の中心を原点とする基準座標系への変換行列をＳとし、基準座標系から視点座標系への変換行列をＭとする二段階の変換を考えれば、Ｈは次式で表される。
Ｈ ＝ ＭＳ （１７）
Ｓは、式（１８）のようにＱを対角化する。

このＳは式（１９）のように分解することができる。

ここで、Ｒ_３３は式（２０）に示すＱ_３３を対角化する回転行列であり、Ｑ_３３及びｑは式（２０）で示されたＱの成分である。また、ΛはＱ_３３を対角化した行列、すなわちＲ_３３ ^−１Ｑ_３３Ｒ_３３である。この回転行列Ｒ_３３によりＱ_３３が対角化されることは数学的に保証されている。

式（１７）の導出を説明する。
座標変換によるＱの対角化Ｓ^ｔＱＳを、Ｑを対角化する相似変換Ｓ^−１ＱＳと捉えて直接的にＳを求められない。なぜならば、Ｓは回転行列Ｒと平行移動行列Ｔの積からなるがＴによりＳが正規直交行列とならないからである。
しかしＳの３行３列の回転成分Ｒ２２は正規直交行列となるため座標変換による対角化問題を相似変換の問題へおきかえることが可能である。すなわち、座標変換によるＱ_３３の対角化Ｒ^−１ _３３Ｑ_３３Ｒ_３３＝Λは相似変換の問題に帰着できる。これにより、未知のＲ_３３がＱ_３３の固有ベクトルを並べたものとして決まり、

となる。展開すると

ここで対角行列Ｄは、

の関係から次の連立する方程式ができる。
ΛＴ＋Ｒ_３３ｑ ＝０
Ｔ^ｔΛ＋ｑ^ｔＲ_３３ ＝０ （２４）
Ｔ^ｔΛ＋Ｔ^ｔＲ^ｔ _３３ｑ＋ｑ^ｔＲ_３３Ｔ ＝０
上の２式より、
Ｔ ＝−Λ^−１Ｒ^ｔ _３３ｑ
Ｔ^ｔ ＝−ｑ^ｔＲ_３３Λ^−１ （２５）
Ｒ_３３及びＴを用いてＳを求めれば、

Ｍは設計時に指定される既知の変換行列であるのでＨが決まり、これによりＱｖが求まり、最終的にマッピング関数ｆ（）が式（１５）から計算できる。発明者はこの方法を「対角化仮想カメラ法」と呼ぶ。

すなわち、Ｍは設計時に指定される既知の変換行列であるので、変換行列計算手段５０６の計算によりＨが決まり（図６（ａ）のステップＰ６０１）、これにより二次曲面パラメータ（Ｑｖ）計算手段５０７の計算においてＱｖが求まる（図６（ａ）のステップＰ６０２）。これらの結果はテーブルとして記憶装置５０８に格納しておく。各コンピュータ５０３ｊのマッピング関数及び逆関数計算手段ｊにおいてマッピング関数ｆ（）が式（１５）から計算できる（図６（ａ）のステップＰ６０３）。マッピング関数及び逆関数計算手段５０９ｊでは、マッピング関数ｆ（）からその逆関数を求める（図６（ａ）のステップＰ６０４）。ステップＰ６０１からステップＰ６０２、ステップＰ６０３、ステップＰ６０４をプロジェクタ５０２ｊの複数ｎ回（実施例ではｎ＝４）繰り返した後、前記ステップＰ６０４で求めた逆関数を各コンピュータ５０３ｊの記憶装置５１０ｊに格納する（図６（ａ）のステップＰ６０５）。これら一連の処理に得られるマッピング関数及び逆関数を適当な数の仮想視点について、予め求めてテーブルとして保持しておく。

（［１−５］本発明の実施例・広角の二次曲面スクリーンに用いた例）
以下、前述の前提技術に基づいた本発明の実施例について図を参照して説明する。図１（ａ），（ｂ），（ｃ）は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図２（ａ）は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図２（ｂ）は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図１において、１０１は二次曲面スクリーン、１０２ｉ（ｉ＝１，２，３，…ｎ）は前記スクリーン周辺に配置されるプロジェクタ、１０３ｉは前記プロジェクタ１０２ｉ毎に対応して備えられる複数のコンピュータである。１０４１ｉ，１０４２ｉ（ｉ＝１，２，３，…ｎ）は前記プロジェクタが投影する映像を撮像することができるステレオカメラを構成するデジタルカメラ、１０５は前記デジタルカメラ１０４１ｉ，１０４２ｉを接続するコンピュータ、１０６はコンピュータ１０５内のテスト点３次元復元手段、１０７はコンピュータ１０５内の二次曲面係数行列推定手段、１０８はコンピュータ１０５内の記憶装置、１０９１ｉ，１０９２ｉは各コンピュータ１０３ｉ内の第１及び第２のマッピング関数及び逆関数計算手段、１１０ｉは各コンピュータ１０３ｉ内の記憶装置、１１１ｉは各コンピュータ１０３ｉに備えられる画像生成手段、１１２ａｉ，１１２ｂｉは各コンピュータ１０３ｉに備えられるピクセルバッファであり、当該コンピュータ１０３ｉ、画像生成手段１１１ｉとともに映像生成手段を構成する。１１３は各コンピュータ１０３ｉ，１０５を接続するネットワークである。１１４ｉは各コンピュータ１０３ｉのオフセット計算手段、１１５ｍ（ｍ＝１，２…Ｍ）はデジタルカメラで構成し、プロジェクタ１０２ｉが投影する二次曲面スクリーン１０１の面を撮影するように外周に位置する基準仮想カメラである。

（［１−５−１］３次元点の復元・統合・スクリーン形状の推定）
（１）３次元点の復元（図２（ａ）のステップＰ１０１）
ステレオカメラ１０４１ｉ，１０４２ｉによる３次元点の復元を図３に示す。プロジェクタｐｉ（１０２ｉ（ｉ＝１，２，３，…ｎ））から既知のテストパターンのテスト点ｘ_ｐｉ ^ｋ（２次元点：ｋ＝１…Ｋ）を投影する。これをｃｍの位置のステレオカメラｃｍ（１０４１ｉ，１０４２ｉ）で得られた画像をもとに、ステレオ視の原理からカメラｃｍ（１０４１ｉ，１０４２ｉ）を原点とするスクリーン１０１上の３次元位置Ｘ_ｃｍｐｉ ^ｋを三角測量の原理から復元する。プロジェクタｐｊ（１０２ｊ）に関してもカメラｃｍ（１０４１ｉ，１０４２ｉ）を用いて同様に行いＸ_ｃｍｐｊ ^ｋを復元する。このとき、ステレオカメラｃｍ（１０４１ｉ，１０４２ｉ）の位置は、対象とするｉ番目のプロジェクタｐｉ（１０２ｉ）の全投影領域と、それに隣接するｊ番目のプロジェクタｐｊ（１０２ｊ）の投影領域の一部が重複した部分を含んで撮影可能な位置であれば自由に設置できる。以上の手順を全プロジェクタ１０２ｐｉ（１０２ｉ）に対して行い全ての３次元点を求める。これらの計算は、カメラ１０４１ｉ，１０４２ｉが接続されるコンピュータ１０５のテスト点３次元復元手段１０６において行われ、これらの計算結果は記憶装置１０８に記憶される。
（２）座標系の統合（図２（ａ）のステップＰ１０２）
次に、スクリーン形状を推定するために、異なるカメラ座標系で復元した各プロジェクタ１０２ｉの３次元点を１つのカメラ座標系へ統合する。統合は、（ａ）一旦基準とするカメラｃｎ（例えばステレオカメラ１０４１ｉの左カメラ）の座標系に統合、（ｂ）これを、スクリーン１０１に正対しかつスクリーン全体が画角内に入る位置に設置した仮想的なカメラｖｍ（以後「基準仮想カメラｖｍ」と呼ぶ。）の座標系へ変換の２段階で行う。（これはステレオカメラ１０４１３の左カメラの座標系に統合した各プロジェクタの３次元点をもとに基準仮想カメラｖｍ（１１５ｍ）の位置姿勢を決定しているためである。）
ステップ（ａ） 各カメラ座標系の３次元点を基準カメラｃｎ（ステレオカメラ１０４１ｉ）の座標系へ変換するには、各カメラ間の相対関係、回転《Ｒ_ｃｎｃｍ》，並進《ｔ_ｃｎｃｍ》が必要である。未知の《Ｒ_ｃｎｃｍ》，《ｔ_ｃｎｃｍ》はカメラｃｎ，ｃｍの両座標系で復元した既知の同一プロジェクタの共通３次元点Ｘ_ｃｍｐｉ ^ｋとＸ_ｃｎｐｉ ^ｋが満たすべき拘束条件、式（２７）の最適化問題を解くことで得られる。

誤差がなければ右辺は零である。また、基準仮想カメラｖｍ（１１５ｍ）の画角及び解像度はステレオカメラと同じとし、レンズの歪み及び画像中心のずれがない理想的なカメラとする。これにより基準カメラｃｎ（１０４１ｉ）と基準仮想カメラｖｍ（１１５ｍ）間のスケールを考える必要がない。
ステップ（ｂ） 基準カメラｃｎから基準仮想カメラｖｍ（１１５ｍ）への変換には、ｃｎの座標系における３次元点をもとに決めた基準仮想カメラｖｍ（１１５ｍ）の位置姿勢を表す既知の《Ｒ_{ｃｖｍｃｎ}》，《ｔ_{ｃｖｍｃｎ}》を用いる。最終的に統合された基準仮想カメラｖｍ（１１５ｍ）の座標系における各プロジェクタの３次元点Ｘ_ｖｍｐｉ ^ｋは、ステップ（ａ）で求めた《Ｒ_ｃｎｃｍ》，《ｔ_ｃｎｃｍ》と前記《Ｒ_{ｃｖｍｃｎ}》，《ｔ_{ｃｖｍｃｎ}》を用いて次式から得る。
Ｘ_ｖｍｐｉ ^ｋ＝《Ｒ_ｖｍｃｎ》《Ｒ_ｃｎｃｍ》Ｘ_ｃｍｐｉ ^ｋ
＋《Ｒ_ｖｍｃｎ》《ｔ_ｃｎｃｍ》＋《ｔ_ｖｍｃｎ》 （２８）
これらの計算は、カメラ１０４１ｉ，１０４２ｉが接続されるコンピュータ１０５の二次曲面係数行列推定手段１０７において行われ、これらの計算結果は記憶装置１０８に記憶される。
（３）スクリーンの推定（図２（ａ）のステップＰ１０２）
統合後の各プロジェクタの３次元点Ｘ_ｖｍｐｉ ^ｋは２次曲面係数行列（パラメータマトリックス）Ｑの上にあるので、式（２９）の最適化問題を解いて未知の係数行列Ｑ（４×４）を得る。

これらの計算は、カメラ１０４１ｉ，１０４２ｉが接続されるコンピュータ１０５の二次曲面係数行列推定手段１０７において行われ、これらの計算結果は記憶装置１０８に記憶される。

（［１−５−２］マッピング関数導出）
（１）プロジェクタの位置姿勢の検出（図２（ａ）のステップＰ１０３）
プロジェクタｐｉの射影行列を《Ｐ_ｐｉ》とすれば、基準仮想カメラｖｍ（１１５ｍ）の座標系における３次元点Ｘ_ｖｍｐｉ ^ｋと対応するテストパターンの２次元点ｘ_ｐｉ ^ｋは誤差が無いとき次の関係を持つ。
ｘ_ｐｉ ^ｋ＝《Ｐ_ｐｉ》Ｘ_ｖｍｐｉ ^ｋ （３０）
従って、未知の射影行列《Ｐ_ｐｉ》は、Ｘ_ｖｍｐｉ ^ｋと対応するテストパターンの２次元点ｘ_ｐｉ ^ｋ（何れも既知）を用いた式（３１）の最適化問題を解くことで得られる。

この射影行列《Ｐ_ｐｉ》は《Ｐ_ｐｉ》＝《Ｋ_ｐｉ》［《Ｒ_ｐｉ》｜《ｔ_ｐｉ》］のように内部パラメータ《Ｋ_ｐｉ》と位置姿勢を表す行列《Ｒ_ｐｉ》，《ｔ_ｐｉ》に分離でき、プロジェクタｐｉ（１０２ｉ）の内部パラメータは既知であるのでスクリーン１０１に対するプロジェクタｐｉ（１０２ｉ）の回転《Ｒ_ｐｉ》、並進《ｔ_ｐｉ》が得られる。これらの計算は、各プロジェクタ１０２ｉが接続されるコンピュータ１０３の第１のマッピング関数及び逆関数計算手段１０９１ｉにおいて行われ、これらの計算結果は記憶装置１１０ｉに記憶される。
（２）マッピング関数Ψｖｍｐｉの計算（図２（ａ）のステップＰ１０４）
投影による歪みを補正するには、予め投影する映像に歪みを与えておけば、投影時の歪みで逆歪みが相殺されて歪みのない映像となる。これが基本的な考えであり、このことは、プロジェクタｐｉの画素位置ｘｐｉの投影像がスクリーンを介してカメラ（即ち視点）の画素位置ｘｃに対応するマッピング関数Ψｐｉｃを見つけることに帰着する。ここで添え字ｐｉ，ｃはプロジェクタｉ及び実カメラの座標系を示し、変換方法はｃからｐｉである。また、ｖを視点、ｒを基準座標系とする。
このΨｐｉｃを得る方法はコンピュータビジョン技術の典型的な応用としてよく知られている。方法は各種あるが、発明者はカメラとプロジェクタの内部パラメータを事前に計測し既知であるとして、プロジェクタからテストパターンをスクリーンに投影し、これをカメラで撮影して対応関係を得ることは、上述した通りである。
平面の場合、このΨｐｉｃはホモグラフィマトリクスＨを用いて以下の関係にある。
ｘ_ｐｉ＝Ｈｘ_ｃ （３１−２）
また、２次曲面を対象とした場合は次式に拡張されることが知られている。第一項は平面と同様の式であり、第二項が曲面による補正項である。
ｘ_ｐｉ
＝Ｈｘ_ｃ−（ｑ^Ｔｘ_ｃ±√（（ｑ^Ｔｘ_ｃ）^２−ｘ^Ｔ _ｃＱ_３３ｘ_ｃ））ｅ_ｃ （３１−３）
ここで、Ｔは転置、ｅ_ｃはエピポール、Ｑ_３３，ｑは次式で決まる４行４列の２次曲面係数行列Ｑの各要素である。

式（３１−３）のΨｐｉｃで示された対応から、予め逆に歪ませる量が分かるので、映像を出すプロジェクタ側で逆歪みをかけておけば投影時の歪みで逆歪みが相殺され、歪みのない映像がカメラ位置（視点）から見える。
基準仮想カメラｖｍ（１１５ｍ）の位置姿勢、プロジェクタｐｉ（１０２ｉ）の位置姿勢《Ｒ_ｐｉ》，《ｔ_ｐｉ》、スクリーン形状を表す行列Ｑを用いて、補正に必要な各プロジェクタｐｉ（１０２ｉ）と基準仮想カメラｖｍ（１１５ｍ）間のマッピング関数Ψｖｍｐｉ，（ｍ＝１…Ｍ，ｉ＝１…Ｎ）が式（３２）（式（３１−３）を変形したもの）のように求まる。
ｘ^ｋ _ｖｍ
＝Ａ_ｖｍｐｉｘ^ｋ _ｐｉ±（√（ｘ^ｋ _ｐｉ ^ＴＥ_ｐｉｘ^ｋ _ｐｉ））ｅ_ｖｍ （３２）
ここで、Ａ_ｖｍｐｉ＝Ｈ_ｖｍｐｉ−ｅ_ｖｍ《ｑ^Ｔ _ｐｉ》，Ｅ_ｐｉ＝《ｑ_ｐｉ》《ｑ^Ｔ _ｐｉ》−Ｑ_３３ｐｉであり、ｐ_ｉ以外のプロジェクタｐｉ（１０２ｉ）のマッピング関数についても同様にして求めることができる。これらの計算は、各プロジェクタ１０２ｉが接続されるコンピュータ１０３の第１のマッピング関数及び逆関数計算手段１０９１ｉにおいて行われ、これらの計算結果は記憶装置１１０ｉに記憶される。
（３）マッピング関数Ψｖｍｐｉの最適化（図２（ａ）のステップＰ１０４−２）
以上の計算で得られたマッピング関数Ψｖｍｐｉは様々な誤差を含んでおり、そのままでは使えない。そこで、前出のマッピング関数Ψｖｍｐｉ、具体的にはＡ_ｖｍｐｉ，Ｅ_ｐｉ，ｅ_ｖｍを初期化して、以下の再投影誤差Ｃを計算しマッピング関数Ψｖｍｐｉの最適化を行う。
Ｃ
＝Σ_ｋ，ｉ｜ｘ^ｋ _ｖｍ−（Ａ_ｖｍｐｉｘ^ｋ _ｐｉ±（√（ｘ^ｋ _ｐｉ ^ＴＥ_ｐｉｘ^ｋ _ｐｉ））ｅ_ｖｍ）｜
（３３）
即ち、既知のｘ^ｋ _ｖｍとｘ^ｋ _ｐｉを用いて式（３３）を最小化するＡ_ｖｍｐｉ，Ｅ_ｐｉ，ｅ_ｖｍを求める。これらの計算は、各プロジェクタ１０２ｉが接続されるコンピュータ１０３の第１のマッピング関数及び逆関数計算手段１０９１ｉにおいて行われ、これらの計算結果は記憶装置１１０ｉに記憶される。

（［１−５−３］マッピング関数Ψｖｍｐｉの符号判定（図２（ａ）のステップＰ１０４））
図４（ａ）に示すように、スクリーン形状を表す２次曲面Ｑは、１つの基準仮想カメラｖ１（１１５１）の光軸が放線であり中心がＱの中心と一致する平面Πを境界にて前の曲面と奥の曲面の２つの面を持つ。この２つの面のどちらに対する補正かにより、式（３２）中の符号が決まる。この場合は、手前の面が−、奥の面が＋となる。プロジェクタｐ１（１０２１）とｐ５（１０２５）を見ると、投影領域が境界平面Πをまたがり、式（３２）の正負の判定がどこで起こるかの判断が難しい。
この不都合を防ぐため、図４（ｂ）に示すように、基準仮想カメラｖｍ（１１５ｍ）を複数設置することで符号判定の問題を回避した。図４（ｂ）の例では基準仮想カメラｖ１（１１５１），ｖ２（１１５２），ｖ３（１１５３）をスクリーン１０１の周囲に配置し、それぞれの基準仮想カメラｖ１（１１５１），ｖ２（１１５２），ｖ３（１１５３）が分担してスクリーン全体を見込む。これにより、新しく設置した基準仮想カメラｖｍ（１１５ｍ）から見ると、対応するプロジェクタは常に２次曲面スクリーン１０１の奥の面に映像を投影することかでき、符号のあいまいな状態を回避できる。図４（ｂ）の例では、プロジェクタｐ１（１０２１），ｐ２（１０２２）に関して基準仮想カメラｖ２（１１５２），ｖ３（１１５３）とのマッピング関数が必要となる。また、最適化処理もプロジェクタｐ２〜ｐ４（１０２２〜１０２４）は基準仮想カメラｖ１（１１５１）の、プロジェクタｐ１（１０２１）は基準仮想カメラｖ２（１１５２）の、プロジェクタｐ５（１０２５）は基準仮想カメラｖ３（１１５３）の２次元点を用いて行う必要がある。これらの計算は、各プロジェクタ１０２ｉが接続されるコンピュータ１０３の第１のマッピング関数及び逆関数計算手段１０９１ｉにおいて基準仮想カメラ１１５ｍを接続するコンピュータ１０５とともに行われ、これらの計算結果は記憶装置１１０ｉに記憶される。

（［１−５−４］マッピング関数Ψｅｐｉの計算（図２（ａ）のステップＰ１０５））
実際の視点位置から見て歪みがなく連続に見えるために各プロジェクタｐｉ（ｉ＝１…Ｉ）と実際の視点ｅとの間のマッピング関数Ψｅｐｉを求める。各プロジェクタｐｉ（１０２ｉ）と基準仮想カメラｖｍ（１１５ｍ）間のマッピング関数Ψｖｍｐｉ（ｍ＝１…Ｍ）は既に求まっているため、基準仮想カメラｖｍ（１１５ｍ）と視点間のマッピング関数Ψｅｖｍが求まれば式（３４）から間接的にΨｅｐｉを求めることができる。
Ψｅｐｉ＝ΨｅｖｍΨｖｍｐｉ （ｍ＝１…Ｍ，ｉ＝１…Ｉ） （３４）
基準仮想カメラｖｍ（１１５ｍ）から見た視点ｅの位置姿勢は仮想カメラ法を用いて幾何学的に求まるので、その位置姿勢情報を持つ仮想カメラ（すなわち視点仮想カメラｅ）ｅと基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍも求まる。図４の例では、４つの仮想カメラ（３つの基準仮想カメラｖ１〜ｖ３（１１５１〜１１５３）と視点仮想カメラｖ０（１１５４）≡ｅ）を用いるため、図４（ｂ）に示すように、マッピング関数についても各基準仮想カメラｖｍ（１１５ｍ）と視点仮想カメラｖ０（１１５４）間のマッピング関数Ψｅｖｍ（ｍ＝１…３）が必要であり、各基準仮想カメラｖｍ（１１５ｍ）に対して仮想カメラ法を適用することでΨｅｖ１，Ψｅｖ２，Ψｅｖ３が求まる。基準仮想カメラｖｍ（１１５ｍ）及び視点仮想カメラｖ０（１１５４）は理想的なカメラであり、視点仮想カメラｖ０（１１５４）の位置姿勢も幾何学的に求まるので、マッピング関数Ψｅｖ１，Ψｅｖ２，Ψｅｖ３に対しては最適化を行う必要がない。図４の場合の各プロジェクタと視点仮想カメラｖ０（１１５４）間のマッピング関数は次のように表される。
Ψｅｐｉ＝Ψｅｖ１Ψｖ１ｐｉ （ｉ＝２…４）
Ψｅｐ１＝Ψｅｖ２Ψｖ２ｐ１； Ψｅｐ５＝Ψｅｖ３Ψｖ３ｐ５ （３５）
これらの計算は、各プロジェクタ１０２ｉが接続されるコンピュータ１０３の第２のマッピング関数及び逆関数計算手段１０９２ｉにおいて基準仮想カメラ１１５ｍを接続するコンピュータ１０５とともに行われ、これらの計算結果は記憶装置１１０ｉに記憶される。
第２のマッピング関数及び逆関数計算手段１０９２ｉでは、マッピング関数ｆ（）からその逆関数を求める（図２（ａ）のステップＰ１０６）。前記ステップＰ１０６で求めた逆関数を各コンピュータ１０３ｉの記憶装置１１０ｉに格納する。これら一連の処理に得られるマッピング関数及び逆関数を適当な数の仮想視点について、予め求めてテーブルとして保持しておく。

（［２］並列処理による負荷分散）
図６の場合、スクリーンの円周は、正対した位置から俯瞰しない限り、楕円となる。前記の「［１−４−２］対角化による中心への移動」において説明した対角化により仮想した視点位置をスクリーンに正対することが可能となるため、円に概説する矩形を計算により直接求めることができ、オーバーラップを許した視野分割ができる。

（［２−１］矩形を用いた視野角の分割
図１３（ａ）にスクリーンの縁を表す円に外接する矩形とそれを用いた視野の分割とオーバーラップの関係を示す。また、図１３（ｂ）に視野角の分割法を示す。以下では、図中の投影可能領域内に各分割が含まれるとして説明する。

（［２−２］複合するための変換行列）
以下では、視野の４分割（４並列）を例に変換行列の計算を示す。しかし、ここでの議論は、４分割以外でも一般性を失うことはない。プロジェクタ５０２ｊのプロジェクタ座標から仮想のカメラ座標（図１３（ａ）に示す４分割した領域）へのマッピング関数ｆ^ｊ（）は以下のようにして求める。
（１）スクリーンの半径ｒを求め、これを用いて図１３（ａ）に示すＷ_ｒｃｔ及びＨ_ｒｃｔを計算する。
（２）円に外接する矩形領域を重複部Ｈ_ｏｖｅｒ，Ｗ_ｏｖｅｒを持つように４等分、外接矩形表示領域から、４等分された該当領域への変換行列Ｈ^ｊ _ｒｃｔを計算する。
（３）Ｈ^ｊ _ｒｃｔを用いて当該プロジェクタ５０２ｊに対応して備えられるコンピュータ１０３ｉのマッピング関数及び逆関数計算手段５０９ｊにおいてマッピング関数ｆ^ｊ（）を計算する。
以下、順に説明する。

（［２−２−１］円の半径）
前記した式（１５）の平方根の中の

を用いた

はカメラ座標でのスクリーンの縁を表す楕円を示す式である。従って、カメラ座標系における二次曲面行列Ｑを、視点座標系に変換したＱ_ｖを用いて計算し直したＥに対応するＥ_ｖを用いた以下の式

は、スクリーンに正対する視点座標系でのスクリーンの縁に対応する円を示す式となる。
また、Ｅｖで規定される円と任意の点

の距離ｄは、

の関係がある。
ここで、

として展開すれば、
ｅ_１１ｘ^２ _ｉ＋２ｅ_１２ｘ_ｉｙ_ｉ
＋２ｅ_１３ｘ_ｉ＋２ｅ_２３ｙ_ｉ
＋ｅ_２２ｙ^２ _ｉ＋ｅ_３３
＝ｄ^２ （３７）
この距離ｄが最大となる点が、円の中心であり、また、このときの距離が半径となる。ｄを最大とする点

は次の関係を満足する。
∂ｄ^２／∂ｘ_ｉ＝２ｅ_１１ｘ_ｉ＋２ｅ_１２ｙ_ｉ＋２ｅ_１３＝０
∂ｄ^２／∂ｙ_ｉ＝２ｅ_１２ｘ_ｉ＋２ｅ_２２ｙ_ｉ＋２ｅ_２３＝０ （３８）
上式で示した連立方程式を解けば、
ｘ_ｉ＝（ｅ_１３ｅ_２２−ｅ_１２ｅ_２３）／（ｅ^２ _１２−ｅ_１１ｅ_２２）
ｙ_ｉ＝（ｅ_１１ｅ_２３−ｅ_１２ｅ_１３）／（ｅ^２ _１２−ｅ_１１ｅ_２２） （３９）
この座標点は、円の中心であるので、（ｘ_ｃ，ｙ_ｃ）と表記する。この中心点（ｘ_ｃ，ｙ_ｃ）を用いれば、半径ｒは、
ｒ＝√（ｅ_１１ｘ^２ _ｃ＋２ｅ_１２ｘ_ｃｙ_ｃ＋２ｅ_１３ｘ_ｃ
＋２ｅ_２３ｙ_ｃ＋ｅ_２２ｙ^２ _ｃ＋ｅ_３３） （４０）
となる。

（［２−２−２］視野の分割）
図１３（ａ）のように横方向の投影映像の重なりの幅をＷ_ｏｖｅｒ、縦方向の重なり幅をＨ_ｏｖｅｒとすれば、分割した視野の大きさＷｒｃｔ及びＨｒｃｔは次式となる。
Ｗｒｃｔ＝ｒ＋（Ｗｏｖｒ／２）
Ｈｒｃｔ＝ｒ＋（Ｈｏｖｒ／２） （４１）
これを用いて、図１３（ａ）に示す原点をＯとする座標系から原点をＯ^ｊとする各視野の座標系への変換行列は、以下となる。

各視野は、各プロジェクタ５０２ｊ毎の映像が投影される領域を決める。

（［２−２−３］マッピング関数ｆ（））
式（１５）にＨｊｒｃｔを操作した以下の式が上記のように視野角を分割した場合のプロジェクタ５０２ｊに関する新たなマッピング関数ｆ^ｊ（）である。

（［２−３］輝度調整）
投影領域の重複部分は輝度が高くなるため投影する映像の輝度を補正する必要がある。この輝度補正は、スクリーン上で重複する各プロジェクタの画素位置に重み係数を予めテーブルとして保持しておき、歪み補正時に画素値と対応する重み係数の乗算により行われる。重みの決定方法を図１４に示す。図１４のプログラムは疑似言語で記述したものである。
ここで、（ｐ，ｑ）はカメラ座標系における画素位置、ｉ，ｊは（１…４）のプロジェクタ番号、Ｈはプロジェクタの横方向の画素数、Ｗは縦方向の画素数、α^ｉ（ｐ^ｉ，ｑ^ｉ）はプロジェクタｉの画素位置（ｐ^ｉ，ｑ^ｉ）における重み係数をそれぞれ表す。プロジェクタｉとプロジェクタｊの重なり部分を判定してその部分の重みを重複幅に反比例して与えている。

（［３］プロジェクタの漏れ光によるブラックオフセットの軽減）
（［３−１］ブラックオフセットの軽減の必要性）
複数のプロジェクタを用いて高解像度の映像を生成しようとする場合、各プロジェクタの投影領域に重複部分が生じる。重複部分は各プロジェクタの輝度が加算され、重複しない部分よりも明るくなる。プロジェクタが完全な黒を表示できれば問題ないが、投影する映像が黒であっても、プロジェクタの漏れ光により投影される領域は完全に黒にはならない（図１５（ａ）参照）。また、重複領域はそれぞれのプロジェクタの漏れ光が重なるためさらに明るくなる。つまり、プロジェクタの漏れ光によりブラックオフセットが生じ、黒を出した状態でも重複部分が目立つことになる。

（［３−２］ブラックオフセットの軽減）
プロジェクタの漏れ光によるブラックオフセット部分はプロジェクタに依存しており調整することはできない。調整できるのは投影する映像の色のみである。単純な色のかさ上げでは色の値が１．０以上になった場合（色の値を０．０〜１．０に正規化してある。）にその色が１．０に補正されてしまい元の映像の色と異なってしまう。そこで元の映像のコントラストを下げ、色を保持しながらかさ上げをすることで色の変化が生じないようにする（図１５（ｂ）参照）。実現方法としては、Ｃｇ（Ｃ ｆｏｒ Ｇｒａｐｈｉｃｓ ｂｙ ｎＶｉｄｉａ）言語を用いてグラフィックスボードが持つｆｒａｇｍｅｎｔ ｓｈａｄｅｒ機能を活用し、撮影する映像の色を補正することで重複部分の輝度の目立ち（図１５（ｃ）、図１５（ｄ）参照）を軽減させる。
Ｃｇで用いた色の補正式は以下の式（４４）の通りである。この式を用いることでブラックレベルを調整し、重複部分のブレンディングを行うαブレンド機能を利用することができる（図１５（ｅ）参照）。そして、ブラックオフセットによる輝度のズレを軽減することができる。図１５（ｆ）に重複部分の例を説明する。
Ｃ＿ｎｅｗ
＝Ｋ＊Ｃ＿ｏｒｇ＋Ｃ＿ｏｆｆｓｅｔ （４４）
但し、
Ｃ＿ｎｅｗ：補正された色（Ｔｈｅ ｃｏｒｒｅｃｔｅｄ ｃｏｌｏｒ）
Ｋ：コントラストを下げる係数（Ｔｈｅ ｃｏｅｆｆｉｃｉｅｎｔ ｆｏｒ ｒｅｄｕｃｉｎｇ ｔｈｅ ｃｏｎｔｒａｓｔ）
Ｃ＿ｏｒｇ：画像のオリジナルの輝度（Ｔｈｅ ｏｒｉｇｉｎａｌ ｃｏｌｏｒ ｏｆ ｉｍａｇｅ）
Ｃ＿ｏｆｆｓｅｔ：輝度のオフセット（Ｔｈｅ ｏｆｆｓｅｔ ｏｆ ｃｏｌｏｒ）

（［３−３］ＫおよびＣ＿ｏｆｆｓｅｔの計算方法）
カメラ画像の輝度から決定する。
１．プロジェクタ５０２１〜５０２４又は１０２ｉから何も投影しない状態をカメラ５０４１又は１０４２ｊで撮像する。（Ｂａｃｋｇｒｏｕｎｄ Ｉｍａｇｅとして使用する。）その画像をＩｍｇ＿ｂｋｇｒｎｄとする（図１６のステップＰ１６０１）。
２．各プロジェクタ５０２１〜５０２４又は１０２ｉから黒を出した状態をカメラ５０４１又は１０２ｉで撮影する（図１６のステップＰ１６０２）。その画像をＩｍｇ＿ｂｌｋｏｆｓｔ＿ｎとする。ｎはプロジェクタの番号とする。画像から得られる輝度をＩとすると、オフセット計算部５１４ｊ又は１１４ｊにおいて以下の計算をする。

Ｃ^ｎ _{ｏｆｆｓｅｔ}＝（Ｉ_ｍａｘ−Ｉ^ｎ _ａｖｅ）／２５６ （４７）
（図１６のステップＰ１６０３）
なお、式（４５）の分母のＷｉｍｇ，Ｈｉｍｇはそれぞれカメラでスクリーン５０５又は１０１を撮像したときのスクリーン５０５又は１０１の周囲にある矩形の幅、高さである（図１３（ａ）参照）。式（４７）の分母の２５６は例えばカメラが持つ輝度値を８ｂｉｔで持つとした場合の２^８＝２５６である。
Ｋ＝１．０−Ｃ^ｎ _{ｏｆｆｓｅｔ} （４８）
これらにより式（４４）を得て、補正した色を得る。このとき、一定周期で投影する映像の輝度を計測し、その平均値に従って、ブラックオフセットにかさ上げするＣ＿ｏｆｆｓｅｔを前記一定の周期で計算して変更することで、シーンごとにＣ＿ｎｅｗを作成し、黒レベルの調整を行う。従って、明画像か暗画像かを判定し、暗画像の場合にオフセットを調整するため、ブラックオフセットによる輝度のずれを軽減することができる。また、重複する部分についてアルファブレンディングにより重複する部分の輝度を下げて他の領域と目立たなくしている。（図１６のステップＰ１６０４）。

（［４］映像発生）
従来、映像のレンダリングを行う場合に、一般的にはグラフィックスボードが持つフレームバッファ（メモリ領域）に映像を書き込み、そのバッファをディスプレイやプロジェクタなどを経由して表示するものであった。
プロジェクションクラスタ（複数のプロジェクタの投影領域のそれぞれの全体によりスクリーンをカバーするようにしたもの）では、映像の歪みを補正する際にバッファに保持されている映像データに対しサンプリング（映像の参照）を行い参照したデータを元に映像を再度作成することで歪みを補正する。このバッファが大きければ大きいほど映像を高精細に描画することができる。このバッファがフレームバッファの場合、フレームバッファはディスプレイやプロジェクタとの解像度に依存するため、ディスプレイやプロジェクタの解像度以上にバッファを大きくすることはできない。よって、高解像度化をディスプレイやプロジェクタの機能以上にすることが難しい。
本発明において、映像データを格納する際に、フレームバッファの代わりにピクセルバッファを使用する。直接ピクセルバッファへ格納しオフスクリーンレンダリングを行うことで、ディスプレイやプロジェクタの解像度の制限を受けない。ピクセルバッファのサイズは２のべき乗という制限はあるが任意に設定可能である。実際には、グラフィックスカードの機能にも依存するためピクセルバッファのサイズにも限界は存在するが、フレームバッファよりも大きなサイズのバッファを確保することができる。
ピクセルバッファのサイズは任意に決定され、ディスプレイの解像度以上の映像をバッファに格納する。ここではバッファサイズを２０４８×２０４８とする。
ピクセルバッファを使用する場合、直接バッファにレンダリングすることができるためフレームバッファを使用する必要がない。また、ＯｐｅｎＧＬの拡張命令を使用することで、ピクセルバッファに格納されたデータを直接テクスチャとして扱うことができる。
図５のピクセルバッファ５１２ａｊ，５１２ｂｊ又は図１のピクセルバッファ１１２ａｊ，１１２ｂｊは、Ｑｕａｄｒｉｃ Ｔｒａｎｓｆｅｒ（ＱＴ）を用いてデータのサンプリングを行う。ＱＴはカメラ画像座標からプロジェクタ画像座標への変換を表し、その逆変換（ＱＴ＿ｉｎｖ）はプロジェクタ画像座標からカメラ画像座標への変換を表す。プロジェクションクラスタではＱＴ＿ｉｎｖを用いてデータのサンプリングを行う。
サンプリング方法としては、プロジェクタ画像座標の（０，０）から順に（１０２４，７６８）までの座標を走査し、その位置がカメラ画像座標ではどの位置に対応するかを求める。また、カメラをＯｐｅｎＧＬ上の視点と考えると、テクスチャメモリの格納した映像をカメラから見た映像とみなすことができる。この関係（ここでは変換マトリクス

とする）を利用し、プロジェクタ画像座標のある位置がテクスチャ座標のどの位置に対応するかを求めることができ、そのテクスチャ座標の位置の色をサンプリングして色情報として保持する（図１８参照）。
サンプリング結果を元に歪み補正を施した映像を作成し、プロジェクタから投影する。投影された映像はスクリーン上で正しく映像として表示される。
図５の各プロジェクタ５０３ｊ毎に備えられたコンピュータ５０３ｊの画像生成手段５１１ｊにより生成された画像を、ピクセルバッファ５１２ｊａにレンダリングし、この画像を当該プロジェクタ５０３ｊについて求めたマッピングの逆関数ｆ^−１（）により、歪み補正した映像をピクセルバッファ５１２ｊｂに生成する（図６（ｂ）のステップＳ６０１）。この歪み補正した映像を各プロジェクタ５０３ｊから二次曲面スクリーン５０５に投影する（図６（ｂ）のステップＳ６０２）。
図１による場合、各プロジェクタ１０２ｉ毎に備えられたコンピュータ１０３ｉの画像生成手段１１１ｉにより生成された画像を、ピクセルバッファ１１２ａｉにレンダリングし、この画像を当該プロジェクタ１０２ｉについて求めたマッピングの逆関数ｆ^−１（）により、歪み補正した映像をピクセルバッファ１１２ｉｂに生成する（図２（ｂ）のステップＳ１０１）。この歪み補正した映像を各プロジェクタ１０２ｉから二次曲面スクリーン１０に投影する（図２（ｂ）のステップＳ１０２）。図４（ｃ）に表示システムを示し、各プロジェクタ１０２ｉ（ｉ＝１〜５）は図示しないフレキシブルアームにより支柱４０１〜４０５を介して床面４０６上に設置されている。

前述の（［２−３］輝度調整）においては投影領域の重複部分の広さを図１３（ａ）のように重ならない部分よりも比較的小さく設定してあるが、図１７（ａ）のように例えば２台のプロジェクタ１７０１、１７０２による投影領域１７０３，１７０４の重複部分を大きくして、複合映像発生し、重ね合わせにより投影領域の明るさを向上することができる。このとき、スクリーンは上記のように二次曲面でも良いが、平面スクリーン１７０５であっても良い。
この２台のプロジェクタ使用の場合も、図５の２台のコンピュータ５０３１，５０３２により各プロジェクタ５０２１，５０２２毎の映像を生成するとともに各プロジェクタ５０２１，５０２２毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ５１２ａに生成し（図１７（ｂ）のステップＳ１７０１）、各プロジェクタ５０２１，５０２２からピクセルバッファ５１２ｂにおいて歪み補正した映像を二次曲面スクリーン５０５に投影して前記共通して重複する部分の明るさを大きくする（図１７（ｂ）のステップＳ１７０２）。
この２台のプロジェクタ使用の場合も、図１の例えば２台のコンピュータ１０３１，１０３２により各プロジェクタ１０２１，１０２２毎の映像を生成するとともに各プロジェクタ１０２１，１０２２毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ１１２ａ１，１１２ａ２に生成し（図１７（ｂ）のステップＳ１７０１）、各プロジェクタ１０２１，１０２２からピクセルバッファ１１２ｂ１，１１２ｂ２において歪み補正した映像を二次曲面スクリーン１０１に投影して前記共通して重複する部分の明るさを大きくする（図１７（ｂ）のステップＳ１７０２）。

前述の（［３］プロジェクタの漏れ光によるブラックオフセットの軽減）において、プロジェクタが完全な黒を表示できれば問題ないが、投影する映像が黒であっても、プロジェクタの漏れ光により投影される領域は完全に黒にはならないことを説明した。これは、夜間の暗い情景の映像を投影している場合では人間の目がわずかな輝度差に対しても敏感に感じ取れる為、一層目立ちやすい傾向となる。
この場合、考えられる措置として、ソフト的に投影する元の映像の輝度を補正することで、ブラックオフセットによって生じる重複領域の輝度を下げ重複部分の目立ちを軽減させることができるが、これだけで夜間のシーンでは完全に重複部分を認識させないようにするのは困難である。
このため、元の映像の輝度の補正と合わせて偏光板を組み合わせて重複部分に対する減光率を段階的に調整することで、重複部分をより感じさせない映像を表示することが可能となる。
減光率を段階的に調整可能なフローを図１９（ａ）に、その装置を図１９（ｂ）に示す。図１９（ｂ）において、１９０１はプロジェクタ、１９０２は偏光子、１９０３は検光子、１９０４は前記検光子１９０３を回転させるモータ、歯車、その他の機械部品、電気回路を含む回転手段である。１９０６は、検光子の周囲に設け前記回転手段１９０４の歯車とかみ合うように形成した歯車の歯である。
偏光子１９０２は、それ自身が位置するプロジェクタ１９０１の映像領域が図示しない他のプロジェクタとの映像領域との重複部分に対応した個所の範囲をカバーする（カバーするように斜線で示している。）。検光子１９０３の回転状態により、プロジェクタ１９０１からスクリーンへの投影光について重複部分のみの輝度を調整する。
Ｍａｌｕの法則により
Ｉ（θ）＝Ｉ（０）ｃｏｓ２θ
ただし、Ｉ（θ）：偏光子と検光子を通過した際の光の強度
Ｉ（０）：偏光子を通過した際の光の強度
となるため検光子の角度を変えることで重複部分の輝度を調整することが可能となる。
図５の各コンピュータ５０３ｊにより各プロジェクタ５０２ｊ毎の映像をピクセルバッファ５１２ａに生成するとともに、各プロジェクタ５０２ｊ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ５１２ｂに生成する（Ｐ１９０１）。各プロジェクタ５０２ｊから前記ピクセルバッファ５１２ｂにおいて歪み補正した映像を二次曲面スクリーン５０５に投影する（Ｐ１９０２）。夜間情景を表すときに操作者は回転手段１９０４を操作し、検光子１９０３を回転させる。検光子１９０３の回転に応じて、プロジェクタ５０２ｊからの光を減光させる（Ｐ１９０３）。
重複部分の輝度を各プロジェクタ５０２ｊ単体による輝度と同程度まで落とせば重複部分は目立たなくなる。
図１による場合、各コンピュータ１０３ｊにより各プロジェクタ１０２ｊ毎の映像をピクセルバッファ１１２ａｊに生成するとともに、各プロジェクタ１０２ｊ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ１１２ｂｊに生成する（Ｐ１９０１）。各プロジェクタ１０２ｊから前記ピクセルバッファ１１２ｂｊにおいて歪み補正した映像を二次曲面スクリーン１０１に投影する（Ｐ１９０２）。夜間情景を表すときに操作者は回転手段１９０４を操作し、検光子１９０３を回転させる。検光子１９０３の回転に応じて、プロジェクタ１０２ｊからの光を減光させる（Ｐ１９０３）。
重複部分の輝度を各プロジェクタ１０２ｊ単体による輝度と同程度まで落とせば重複部分は目立たなくなる。

（ステレオ映像表示への応用）
上述した技術は、ステレオ映像表示においても実現することができる。図２０（ａ）は二次曲面スクリーンに係るマッピング関数の生成方法の一実施例を説明するフロー図、及び図２０（ｂ）は二次曲面スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図２１は二次曲面スクリーンに係る補正関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図２１において、２１０１は二次曲面スクリーン、２１０２１ｉ，２１０２２ｉ（ｉ＝１，２，３，…ｎ）は前記スクリーン周辺に配置されるプロジェクタ、２１０３ｉは前記プロジェクタ２１０２１ｉ，２１０２２ｉ毎に対応して備えられる複数のコンピュータである。２１０４１ｉ，２１０４２ｉ（ｉ＝１，２，３，…ｎ）は前記プロジェクタ２１０２１ｉ，２１０２２ｉが投影する映像を撮像することができるステレオカメラを構成するデジタルカメラ、２１０５は前記デジタルカメラ２１０４１ｉ，２１０４２ｉを接続するコンピュータ、２１０６はコンピュータ２１０５内のテスト点３次元復元手段、２１０７はコンピュータ２１０５内の二次曲面係数行列推定手段、２１０８はコンピュータ２１０５内の記憶装置、２１０９１ｉ，２１０９２ｉは各コンピュータ２１０３ｉ内の第１及び第２のマッピング関数及び逆関数計算手段、２１１０ｉは各コンピュータ２１０３ｉ内の記憶装置、２１１１ｉは各コンピュータ２１０３ｉに備えられる画像生成手段、２１１２ａｉ，２１１２ｂｉは各コンピュータ２１０３ｉに備えられるピクセルバッファであり、当該コンピュータ２１０３ｉ、画像生成手段２１１１ｉとともに映像生成手段を構成する。２１１３は各コンピュータ２１０３ｉ，２１０５を接続するネットワークである。２１１４ｉは各コンピュータ２１０３ｉのオフセット計算手段、２１１５ｍ（ｍ＝１，２…Ｍ）はデジタルカメラで構成し、プロジェクタ２１０２ｉが投影する二次曲面スクリーン２１０１の面を撮影するように外周に位置する基準仮想カメラである。

（［１］ステレオ表示のための二次曲面スクリーンに係るマッピング関数、その逆関数）
ステレオ表示は、前述の実施例１において、図１について説明した１つの視点の代わりに、左右両目の視点についてマッピング関数及び逆マッピング関数を求めて、左右それぞれの目用の画像を発生するものである。
すなわち、ステレオ表示のための二次曲面スクリーンに係るマッピング関数、その逆関数は、以下のように得る。
各プロジェクタｐｉ（２１０２１ｉ，２１０２２ｉ）からスクリーン２１０１に投影したテスト点の３次元復元を前記ステレオカメラ２１０２１ｉ，２１０２２ｉによる行う（図２０（ａ）のステップＰ２００１）。
前記復元した各プロジェクタｐｉ（２１０２１ｉ，２１０２２ｉ）の３次元点を１つの（例えば）カメラ２１０２１ｉの座標系に統合し、統合後の３次元点からスクリーン形状を表す２次曲面係数行列（Ｑ）を推定する（図２０（ａ）のステップＰ２００２）。
前記統合後の各プロジェクタｐｉ（２１０２１ｉ，２１０２２ｉ）の３次元点とこれに対応するテスト点の２次元点から各プロジェクタｐｉ（２１０２１ｉ，２１０２２ｉ）の位置姿勢（Ｐ）を推定する（図２０（ａ）のステップＰ２００３）。
前記二次曲面スクリーン２１０１の投影面を分割して全体を撮影するように配置し、前記プロジェクタｐｉ（２１０２１ｉ，２１０２２ｉ）が投影する前記二次曲面スクリーン２１０１の投影面を撮影する複数の基準仮想カメラＶｍ（２１１５ｍ）（ｍ＝１…Ｍ）を備え、前記推定した２次曲面係数行列（Ｑ）と、前記複数の基準仮想カメラＶｍ（２１１５ｍ）（ｍ＝１…Ｍ）の位置姿勢と前記推定した各プロジェクタｐｉ（２１０２１ｉ，２１０２２ｉ）の位置姿勢（Ｐ）から、プロジェクタｐｉ（２１０２１ｉ，２１０２２ｉ）の画素位置の投影像がスクリーン２１０１を介して基準仮想カメラＶｍ（２１１５ｍ）の画素位置に対応する基準仮想カメラＶｍ（２１１５ｍ）とプロジェクタｐｉ（２１０２１ｉ，２１０２２ｉ）間のマッピング関数Ψｖｍｐｉを求める（図２０（ａ）のステップＰ２００４）。
ステップＰ２００４において、図１と共に説明した式（３３）により、そこで、前出のマッピング関数Ψｖｍｐｉ、具体的にはＡ_ｖｍｐｉ，Ｅ_ｐｉ，ｅ_ｖｍを初期化して、以下の再投影誤差Ｃを計算しマッピング関数Ψｖｍｐｉの最適化を行う（図２０（ａ）のステップＰ２００４−２）。
前記二次曲面スクリーン２１０１を見る右目又は左目のいずれか一方の位置に位置姿勢情報を持つ右目（又は左目）用の視点仮想カメラｅ（１６１５１４又は１６１５２４）を設定し、当該右目（又は左目）用の視点仮想カメラｅ（１６１５１４又は１６１５２４）の位置姿勢と前記位置姿勢を持つ基準仮想カメラＶｍ（２１１５ｍ）間のマッピング関数Ψｅｖｍを求め、前記ステップＰ２０２４によるマッピング関数Ψｖｍｐｉとにより、
各プロジェクタ２１０２１ｉ（右目用の場合）（又は左目用のプロジェクタ２１０２２ｉ）と右目（又は左目）用の視点仮想カメラｅ（１６１５１４又は１６１５２４）との間の右目（又は左目）用のマッピング関数Ψｒ（ｌ）ｅｐｉを求め、前記二次曲面スクリーン２１０１を見る前記右目又は左目のいずれか一方と異なる他方の位置に位置姿勢情報を持つ左目（又は右目）用の視点仮想カメラｅ（１６１５１４又は１６１５２４）を設定し、当該左目（又は右目）用の視点仮想カメラｅ（１６１５１４又は１６１５２４）の位置姿勢と前記位置姿勢を持つ基準仮想カメラＶｍ（２１１５ｍ）間のマッピング関数Ψｅｖｍを求め、前記第４の過程によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタ２１０２１ｉ（２１０２２ｉ）と左目（又は右目）用の視点仮想カメラｅ（１６１５１４又は１６１５２４）との間の左目（又は右目）用のマッピング関数Ψｌ（ｒ）ｅｐｉを求める（図２０（ａ）のステップＰ２００５）。
前記ステップＰ２００４による右目用及び左目用のマッピング関数Ψｒｅｐｉ，Ψｌｅｐｉによりその逆関数を求める第（図２０（ａ）のステップＰ２００６）。

（［２］ステレオ映像発生）
また、ステレオ表示は以下のように行う。
各コンピュータ２１０３ｉの画像生成手段２１１１ｉにより各プロジェクタ２１０２１ｉ，２１０２２ｉ毎の右目用及び左目用の映像をピクセルバッファ２１１２ａｉに生成するとともに上記のように求めた各プロジェクタ２１０２１ｉ，２１０２２ｉ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファ２０１２ｉｂに生成する（図２０（ｂ）のステップＳ２００１）。各プロジェクタ２１０２１ｉ，２１０２２ｉから前記ピクセルバッファ２０１２ｂにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーン２１０１に投影する（図２０（ｂ）のステップＳ２００２）。

実施例２として説明した技術もステレオ表示に適用することができる。実施例３として説明した技術もステレオ表示に適用することができる。

図２２（ａ）は実施例５を説明する機能ブロック図であり、２２０１はビデオ機器であり、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータ等を用いる。２２０２は歪み補正映像生成部、２２０３はビデオ機器２２０１の信号を歪み補正映像生成部２２０２での処理に適するように信号変換する変換器、２２０４は変換器２２０３からの出力信号を一時格納するメモリ、２２０５，２２０６，２２０７，２２０８はプロジェクタとスクリーンとの位置に応じて実施例１で説明したようにマッピング関数の逆関数により映像を歪み補正する歪み補正手段、２２０９，２２１０，２２１１，２２１２は歪み補正した映像を一時格納する補正後メモリ、２２１３，２２１４，２２１５，２２１６は補正した映像信号をプロジェクタに投影するに適した信号に変換する変換器、２２１７，２２１８，２２１９，２２２０はプロジェクタ、２２２１は二次曲面スクリーンである。
マッピング関数及びその逆関数は、実施例１で説明したように図示しないコンピュータにより求めておく。
メモリ２２０４はフレームメモリで構成する場合があるが、これである必要はなく、ラインメモリでもよい。また、メモリ２２０４は必須のものでなく、変換器２２０３から直接歪み補正手段２２０５〜２２０８に直接接続してもよい。補正後メモリ２２０９，２２１０，２２１１，２２１２は、フレームメモリで構成する場合があるが、これである必要はなく、ラインメモリでもよい。また、補正後メモリ２２０９，２２１０，２２１１，２２１２は必須のものでなく、歪み補正手段２２０５，２２０６，２２０７，２２０８のそれぞれは直接に変換器２２１３，２２１４，２２１５，２２１６に接続してもよい。
プロジェクタ２２１７，２２１８，２２１９，２２２０の数は任意の数ｎを用いることができ、この実施例では４台の例を図示した。

ビデオ機器２２０１からの映像（図２２（ｂ））は、変換器２２０３で処理に適するように変換され、メモリ２２０４に一時格納される。メモリ２２０４の映像は、プロジェクタ２２１７，２２１８，２２１９，２２２０のそれぞれに投影される範囲で分割されて、その範囲でそれぞれが歪み補正手段２２０５，２２０６，２２０７，２２０８に歪み補正され（図２３のステップＳＴ２３０１）て、補正後メモリ２２０９，２２１０，２２１１，２２１２に一時格納される（図２２（ｃ））。映像信号は、変換器２２１３，２２１４，２２１５，２２１６で処理され、プロジェクタ２２１７，２２１８，２２１９，２２２０によりスクリーン２２２１に投影される（図２３のステップＳＴ２３０２）。

変換器２２１３，２２１４，２２１５，２２１６において、実施例１の（［２−３］輝度調整）において説明したように輝度調整により、各プロジェクタ２２１７，２２１８，２２１９，２２２０の互いに重複する投影領域の輝度を補正することができる。

図２２において、図示しないコンピュータにより、実施例１の（［３］プロジェクタの漏れ光によるブラックオフセットの軽減）において説明したようにオフセット調整がされている。

例えば、２台のプロジェクタの投影領域の重複部分を大きくして、上述の実施例２のようにして、共通して重複する部分の明るさを大きくすることができる。
ビデオ機器２２０１からの映像は、変換器２２０３で処理に適するように変換され、メモリ２２０４に一時格納される。メモリ２２０４の映像は、プロジェクタ２２１７，２２１８，２２１９，２２２０のそれぞれに投影される範囲で分割されて、その範囲でそれぞれが歪み補正手段２２０５，２２０６，２２０７，２２０８に歪み補正され（図２４のステップＳＴ２４０１）て、補正後メモリ２２０９，２２１０，２２１１，２２１２に一時格納される。映像信号は、変換器２２１３，２２１４，２２１５，２２１６で処理され、プロジェクタ２２１７，２２１８，２２１９，２２２０によりスクリーン２２２１に投影して共通して重複する部分の明るさを大きくする（図２４のステップＳＴ２４０２）。

各プロジェクタ２２１７，２２１８，２２１９，２２２０の前方に実施例３のような偏光子と検光子を配置して、プロジェクタからの光を減光して、プロジェクタの漏れ光を目立たなくすることができる。

偶数個のプロジェクタ２２１７，２２１８，２２１９，２２２０を右目用と左見用に区分して、実施例４を適用して、左右両目の視点についてマッピング関数及び逆マッピング関数を求めて、ビデオ機器２２０１からの映像に立体用の映像を用いてステレオ映像を実現することができる。
例えば、プロジェクタ２２１７，２２１９を右目用、プロジェクタ２２１８，２２２０を左目用とする。
ビデオ機器２２０１からの各プロジェクタ２２１７，２２１８，２２１９，２２２０の右目用及び左目用の映像が、各プロジェクタ２２１７，２２１８，２２１９，２２２０の右目用及び左目用のマッピングの逆関数により、歪み補正される（図２５のステップＳＴ２５０１）。各プロジェクタ２２１７，２２１８，２２１９，２２２０から前記歪み補正された右目用及び左目用の映像が前記二次曲面スクリーン２２２１に投影される（図２５のステップＳＴ２５０２）。

マッピング関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。 マッピング関数の生成方法及び映像発生方法の一実施例を説明するフロー図である。 ３次元点の復元を説明する図である。 カメラとプロジェクタとスクリーンの配置を説明する図である。 マッピング関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。 マッピング関数の生成方法及び映像発生方法の一実施例を説明するフロー図である。 プロジェクタの配置取り付けを説明する図である。 逆歪みによる歪み補正の模式図である。 スクリーン上の点を説明する図である。 スクリーン上の点を説明する図である。 スクリーン上の点を異なる視点から見たときのイメージ平面における位置関係を説明する図である。 カメラ設置位置から基準点を経て視点位置への移動を説明する図である。 スクリーンの視野の分割と視野角を説明する図である。 重複部分の重さの決定方法を説明するプログラムである。 オフセットの軽減を説明する図である。 オフセットの軽減法を説明するフロー図である。 複合映像の重ね合わせによる明るさ向上を説明する図である。 ピクセルバッファによるサンプリングを説明する図である。 夜間情景の投影時の重複部分の輝度調整を説明する図である。 マッピング関数の生成方法及び映像発生方法の一実施例を説明するフロー図である。 マッピング関数の生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。 映像発生装置の一実施例を説明する機能ブロック図及び歪み補正の説明である。 映像発生方法の一実施例を説明するフロー図である。 複合映像の重ね合わせによる明るさ向上を説明するフロー図である。 映像発生方法の一実施例を説明するフロー図である。

符号の説明

１０１…二次曲面スクリーン、１０２ｉ…プロジェクタ、１０３ｉ…コンピュータ、１０４１ｉ，１０４２ｉ…デジタルカメラ（ステレオカメラ）、１０５…コンピュータ、１０６…テスト点３次元復元手段、１０７…二次曲面係数行列推定手段、１０８…記憶装置、１０９１ｉ，１０９２ｉ…マッピング関数及び逆関数計算手段、１１０ｉ…各コンピュータ１０３ｉ内の記憶装置、１１１ｉ…画像生成手段、１１２ａｉ，１１２ｂｉ…ピクセルバッファ、１１３…ネットワーク。１１４ｉ…オフセット計算手段、１１５ｍ…基準仮想カメラ。

Claims (28)

1. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記複数のプロジェクタごとに分割されたスクリーンを撮影するように配置されたステレオカメラと、コンピュータと、記憶装置とを有し、
   コンピュータによる処理であって、
   各プロジェクタｐｉからスクリーンに投影したテスト点の３次元復元を前記ステレオカメラによる行う第１の過程と、
   前記復元した各プロジェクタｐｉの３次元点を１つの座標系に統合し、統合後の３次元点からスクリーン形状を表す２次曲面係数行列（Ｑ）を推定する第２の過程と、
   前記統合後の各プロジェクタｐｉの３次元点とこれに対応するテスト点の２次元点から各プロジェクタｐｉの位置姿勢（Ｐ）を推定する第３の過程と、
   前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタｐｉが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）を備え、前記推定した２次曲面係数行列（Ｑ）と、前記複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）の位置姿勢と前記推定した各プロジェクタｐｉの位置姿勢（Ｐ）から、基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求める第４の過程と、
   前記二次曲面スクリーンを見る位置に位置姿勢情報を持つ視点仮想カメラｅを設定し、当該視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第４の過程によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと視点仮想カメラｅとの間のマッピング関数Ψｅｐｉを求める第５の過程と、
   前記第５の過程のマッピング関数Ψｅｐｉによりその逆関数を求める第６の過程と、
   からなることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成方法。
2. 請求項１における、第４の過程が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化することを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成方法。
3. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
   前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、
   各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とする分割撮像による歪み補正と統合方法。
4. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記複数のプロジェクタごとに分割されたスクリーンを撮影するように配置されたステレオカメラと、コンピュータと、記憶装置とを有し、
   コンピュータによる処理であって、
   各プロジェクタｐｉからスクリーンに投影したテスト点の３次元復元を前記ステレオカメラによる行う第１の過程と、
   前記復元した各プロジェクタｐｉの３次元点を１つの座標系に統合し、統合後の３次元点からスクリーン形状を表す２次曲面係数行列（Ｑ）を推定する第２の過程と、
   前記統合後の各プロジェクタｐｉの３次元点とこれに対応するテスト点の２次元点から各プロジェクタｐｉの位置姿勢（Ｐ）を推定する第３の過程と、
   前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタｐｉが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）を備え、前記推定した２次曲面係数行列（Ｑ）と、前記複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）の位置姿勢と前記推定した各プロジェクタｐｉの位置姿勢（Ｐ）から、基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求める第４の過程と、
   前記二次曲面スクリーンを見る右目又は左目のいずれか一方の位置に位置姿勢情報を持つ右目（又は左目）用の視点仮想カメラｅを設定し、当該右目（又は左目）用の視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第４の過程によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと右目（又は左目）用の視点仮想カメラｅとの間の右目（又は左目）用のマッピング関数Ψｒ（ｌ）ｅｐｉを求め、前記二次曲面スクリーンを見る前記右目又は左目のいずれか一方と異なる他方の位置に位置姿勢情報を持つ左目（又は右目）用の視点仮想カメラｅを設定し、当該左目（又は右目）用の視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第４の過程によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと左目（又は右目）用の視点仮想カメラｅとの間の左目（又は右目）用のマッピング関数Ψｌ（ｒ）ｅｐｉを求める第５の過程と、
   前記第５の過程の右目用及び左目用のマッピング関数Ψｒｅｐｉ，Ψｌｅｐｉによりその逆関数を求める第６の過程と、
   からなることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成方法。
5. 請求項４における、第４の過程が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化することを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成方法。
6. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
   前記各コンピュータにより各プロジェクタが投影する領域毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項４又は請求項５において求めた各プロジェクタ毎の右目用及び左目用のマッピング関数Ψｒｅｐｉ，Ψｌｅｐｉの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、
   各プロジェクタから前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とする分割撮像による歪み補正と統合方法。
7. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、コンピュータと、記憶装置とを有し、
   前記コンピュータにより各プロジェクタが投影する領域毎の映像を生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、
   各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第２の過程からなることを特徴とする分割撮像による歪み補正と統合方法。
8. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
   前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、
   各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とする分割撮像による歪み補正と統合方法。
9. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
   前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項４において求めた各プロジェクタ毎の右目用及び左目用のマッピング関数の逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、
   各プロジェクタから前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する第２の過程からなることを特徴とする分割撮像による歪み補正と統合方法。
10. 二次曲面スクリーンと、前記スクリーン前方に位置して前記スクリーンに投影する領域を共通にして重複する部分を有するように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
    前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する第１の過程と、
    各プロジェクタから前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくする第２の過程からなることを特徴とする分割撮像による歪み補正と統合方法。
11. ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とする請求項８又は請求項９又は請求項１０記載の分割撮像による歪み補正と統合方法。
12. 請求項３又は請求項６又は請求項７又は請求項８又は請求項９又は請求項１０又は請求項１１に記載の分割撮像による歪み補正と統合方法において、
    二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、コンピュータと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラとを有し、
    前記スクリーンに前記プロジェクタのいずれもから投影しない状態でステレオカメラにより撮影する第１の過程と、
    前記各プロジェクタより前記スクリーンに黒状態の映像を投影してステレオカメラにより撮影するとともに複数ｎのプロジェクタのｎ回繰り返す第２の過程と、
    コンピュータにおいて、第２の過程による各プロジェクタ毎の映像の輝度から第１の過程により得られた映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得る第３の過程と、
    コンピュータにおいて、一定周期で投影する映像の輝度を計測し、その平均値に従って、ブラックオフセットにかさ上げするオフセット値を一定周期で計算して変化させ黒レベルの調整を行う第４の過程とからなることを特徴とする分割撮像による歪み補正と統合方法。
13. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ前方に設けた偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１又は請求項２において求めた各プロジェクタ毎のマッピング関数の逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する第１の過程と、
    各プロジェクタから前記ピクセルバッファにおいて歪み補正した映像を前記二次曲面スクリーンに投影する第２の過程と、
    夜間情景を表すときに前記偏光板により減光させる第３の過程からなることを特徴とする分割撮像による歪み補正と統合方法。
14. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラと、前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタｐｉが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）と、前記二次曲面スクリーンを見る位置に配置された位置姿勢情報を持つ視点仮想カメラｅと、コンピュータと、記憶装置とを有し、
    各プロジェクタｐｉからスクリーンに投影したテスト点をステレオカメラで撮像して３次元復元を行うテスト点３次元復元手段と、
    前記復元した各プロジェクタｐｉの３次元点を１つの座標系に統合し、統合後の３次元点からスクリーン形状を表す２次曲面係数行列（Ｑ）を推定する２次曲面係数行列（Ｑ）推定手段と、
    前記統合後の各プロジェクタｐｉの３次元点とこれに対応するテスト点の２次元点から各プロジェクタｐｉの位置姿勢（Ｐ）を推定するプロジェクタ位置姿勢推定手段と、
    前記推定した２次曲面係数行列（Ｑ）と、前記複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）の位置姿勢と前記推定した各プロジェクタｐｉの位置姿勢（Ｐ）から、基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求める第１のマッピング関数計算手段と、
    当該視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第１のマッピング関数計算手段によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと視点仮想カメラｅとの間のマッピング関数Ψｅｐｉを求める第２のマッピング関数計算手段と、
    前記第２のマッピング関数計算手段によるマッピング関数Ψｅｐｉによりその逆関数を求める逆関数計算手段と、
    前記複数プロジェクタ毎にマッピング関数Ψｖｍｐｉ，Ψｅｐｉ及びその逆関数を格納する記憶装置と
    からなることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成装置。
15. 請求項１４の分割撮像による歪み補正と統合のためのマッピング関数生成装置において、第１のマッピング関数計算手段が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化する最適化手段を備えることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成装置。
16. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
    前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタとからなることを特徴とする分割撮像による歪み補正と統合装置。
17. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラと、前記二次曲面スクリーンの投影面を分割して全体を撮影するように配置し、前記プロジェクタｐｉが投影する前記二次曲面スクリーンの投影面を撮影する複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）と、
    前記二次曲面スクリーンを見る右目の位置に配置された位置姿勢情報を持つ右目用の視点仮想カメラｅｒ及び左目の位置に配置された位置姿勢情報を持つ左目用の視点仮想カメラｅｌと、コンピュータと、記憶装置とを有し、
    各プロジェクタｐｉからスクリーンに投影したテスト点をステレオカメラで撮像して３次元復元を行うテスト点３次元復元手段と、
    前記復元した各プロジェクタｐｉの３次元点を１つの座標系に統合し、統合後の３次元点からスクリーン形状を表す２次曲面係数行列（Ｑ）を推定する２次曲面係数行列（Ｑ）推定手段と、
    前記統合後の各プロジェクタｐｉの３次元点とこれに対応するテスト点の２次元点から各プロジェクタｐｉの位置姿勢（Ｐ）を推定するプロジェクタ位置姿勢推定手段と、
    前記推定した２次曲面係数行列（Ｑ）と、前記複数の基準仮想カメラｖｍ（ｍ＝１…Ｍ）の位置姿勢と前記推定した各プロジェクタｐｉの位置姿勢（Ｐ）から、基準仮想カメラｖｍとプロジェクタｐｉ間のマッピング関数Ψｖｍｐｉを求める第１のマッピング関数計算手段と、
    当該右目（又は左目）用の視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第１のマッピング関数計算手段によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと右目（又は左目）用の視点仮想カメラｅとの間の右目（又は左目）用のマッピング関数Ψｒ（ｌ）ｅｐｉを求め、当該左目（又は右目）用の視点仮想カメラｅの位置姿勢と前記位置姿勢を持つ基準仮想カメラｖｍ間のマッピング関数Ψｅｖｍを求め、前記第１のマッピング関数計算手段によるマッピング関数Ψｖｍｐｉとにより、各プロジェクタと左目（又は右目）用の視点仮想カメラｅとの間の左目（又は右目）用のマッピング関数Ψｌ（ｒ）ｅｐｉを求める第２のマッピング関数計算手段と、
    前記第２のマッピング関数計算手段の右目用及び左目用のマッピング関数Ψｒｅｐｉ，Ψｌｅｐｉによりその逆関数を求める逆関数計算手段と、
    前記複数プロジェクタ毎にマッピング関数Ψｖｍｐｉ，Ψｅｐｉ及びその逆関数を格納する記憶装置と
    からなることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成装置。
18. 請求項１７に記載の分割撮像による歪み補正と統合のためのマッピング関数生成装置において、第１のマッピング関数計算手段が、マッピング関数Ψｖｍｐｉを初期値としその誤差を最小にして最適化する最適化手段を備えることを特徴とする分割撮像による歪み補正と統合のためのマッピング関数生成装置。
19. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタが投影する領域毎の右目用及び左目用の映像をピクセルバッファに生成するとともに予め請求項１７又は請求項１８において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
    前記ピクセルバッファにおいて歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタとからなることを特徴とする分割撮像による歪み補正と統合装置。
20. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、コンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
    前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数ｎのプロジェクタとからなることを特徴とする分割撮像による歪み補正と統合装置。
21. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
    前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
    前記歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎの各プロジェクタとからなることを特徴とする分割撮像による歪み補正と統合装置。
22. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
    前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１７において求めた各プロジェクタ毎の右目用及び左目用のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
    前記歪み補正した右目用及び左目用の映像を前記二次曲面スクリーンに投影する複数ｎの各プロジェクタからなることを特徴とする分割撮像による歪み補正と統合装置。
23. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、ビデオ機器とを有し、
    前記ビデオ機器からの映像を前記スクリーンへ前記複数ｎのプロジェクタに投影するように分割生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記分割生成した映像を歪み補正した映像を生成する映像生成手段と、
    前記歪み補正した映像を前記二次曲面スクリーンに投影して前記共通して重複する部分の明るさを大きくするように配置された複数ｎのプロジェクタからなることを特徴とする分割撮像による歪み補正と統合装置。
24. ビデオ機器が、テレビジョン装置、ビデオ再生装置、パーソナルコンピュータであることを特徴とする請求項２１又は請求項２２又は請求項２３記載の分割撮像による歪み補正と統合装置。
25. オフセット値分上げて→オフセット値分下げて
    請求項１６又は請求項１９又は請求項２０又は請求項２１又は請求項２２又は請求項２３又は請求項２４に記載の分割撮像による歪み補正と統合装置において、
    二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、前記スクリーン前方に位置してスクリーンを撮影するように配置されたステレオカメラとを有し、
    プロジェクタの何れからも投影しない第１の状態のスクリーンを撮影するとともに前記各プロジェクタより黒状態を投影したスクリーンの第２の状態をプロジェクタ毎に撮影するカメラと、
    前記カメラが撮影した前記第２の状態を投影した各プロジェクタ毎の映像の輝度から、前記第１の状態を撮影した映像の輝度との差により各プロジェクタによる画面の平均値と当該平均値の和により最大値を得るとともに最大値と平均値の差によりオフセット値を得るオフセット計算手段と、
    前記各コンピュータにより、一定周期で投影する映像の輝度を計測し、その平均値に従って、ブラックオフセットにかさ上げするオフセット値を一定周期で計算して変化させ黒レベルの調整を行って映像生成する映像生成手段とからなることを特徴とする分割撮像による歪み補正と統合装置。
26. 二次曲面スクリーンと、前記スクリーンに分割しかつ隣接投影箇所が重複部分を含み連続になるように配置された複数ｎのプロジェクタと、偏光板と、前記各プロジェクタ毎に備えたコンピュータと、記憶装置とを有し、
    前記各コンピュータにより各プロジェクタが投影する領域毎の映像をピクセルバッファに生成するとともに予め請求項１４又は請求項１５において求めた各プロジェクタ毎のマッピングの逆関数により、前記生成した映像を歪み補正した映像をピクセルバッファに生成する映像生成手段と、
    前記各コンピュータのピクセルバッファからの歪み補正した各映像を前記二次曲面スクリーンに投影する複数ｎのプロジェクタと、
    前記各プロジェクタ前方に設け、夜間情景を表すときに各プロジェクタからの光量を減光させる偏光板とからなることを特徴とする分割撮像による歪み補正と統合装置。
27. 各プロジェクタが自由度を持ったフレキシブルアームにより床面に設置されたことを特徴とする請求項１４又は請求項１５又は請求項１７又は請求項１８に記載の分割撮像による歪み補正と統合のためのマッピング関数生成装置。
28. 各プロジェクタが自由度を持ったフレキシブルアームにより床面に設置されたことを特徴とする請求項１６又は請求項１９〜２６のいずれかに記載の分割撮像による歪み補正と統合装置。

Images