JP2005234698A - 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置 - Google Patents

歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置 Download PDF

Info

Publication number
JP2005234698A
JP2005234698A JP2004040361A JP2004040361A JP2005234698A JP 2005234698 A JP2005234698 A JP 2005234698A JP 2004040361 A JP2004040361 A JP 2004040361A JP 2004040361 A JP2004040361 A JP 2004040361A JP 2005234698 A JP2005234698 A JP 2005234698A
Authority
JP
Japan
Prior art keywords
eye
image
screen
computer
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004040361A
Other languages
English (en)
Other versions
JP4554231B2 (ja
Inventor
Masato Ogata
正人 緒方
Hiroyuki Wada
博之 和田
Kagenori Kajiwara
景範 梶原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Precision Co Ltd
Original Assignee
Mitsubishi Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Precision Co Ltd filed Critical Mitsubishi Precision Co Ltd
Priority to JP2004040361A priority Critical patent/JP4554231B2/ja
Publication of JP2005234698A publication Critical patent/JP2005234698A/ja
Application granted granted Critical
Publication of JP4554231B2 publication Critical patent/JP4554231B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】複数スクリーンの配置、スクリーンの形状を容易に変更でき、部分に分けて発生した表示映像の連続性を保つ調整が容易になる。
【解決手段】複数の表示スクリーンと映像発生部間の情報帰還を、カメラで撮像した画像により行う。カメラで表示スクリーン上に投影したテストパターンにより、カメラと各スクリーンの位置関係を与える歪パラメータを得る。各スクリーンに表示すべき画像を貼り付ける仮想面を各スクリーン毎の歪パラメータで回転させ、その面に貼り付けた映像に逆歪を与えて、各スクリーンに対応したプロジェクタにより投影する。立体視に応用できる。
【選択図】 図1

Description

この発明は、コンピュータグラフィックスによる並列映像発生に際して用いる歪みパラメータの生成方法及び映像発生の方法並びにこれらの装置、さらにはその応用に関するものである。
映像を扱う対象を分割してこれらを各演算処理器で並列映像発生処理し、各映像を複数のプロジェクタでスクリーンに投影し、一つの合成した映像を得るものがある。
複数のプロジェクタでスクリーンに投影して連続した一つの映像を得るには、表示スクリーンとプロジェクタの空間的関係を知る必要があるが、図３（ａ）の様に、スクリーンＳとプロジェクタＰの位置関係が正対しない状況がある。このような場合、映像が歪んで投影される。図３（ｂ）の様に、映像発生元で逆の歪みを加えておけば投影されたとき正しく映像が写ることとなる。
しかし、従来の映像発生は、映像発生部と表示した映像間に情報の帰還がなく、予め表示するスクリーンを想定して映像を歪ませるパラメータを与えるため、スクリーンの配置、スクリーンの形状を容易に変更できない、部分に分けて発生した表示映像の連続性を保つ調整が複雑であるなどの問題点があった。
また、非特許文献１に示したように、設置位置が不明なプロジェクタｉ（１…ｎ）から投影した映像と、同様に設置位置が不明なカメラで撮像したスクリーン上の歪み映像とが３行３列のマトリクスにより対応づけられ、このマトリクスを利用してプロジェクタ座標の映像に逆歪みをかけ、映像の歪み補正を行うものがあるが、単一スクリーンに限られている。
社団法人情報処理学会、「ＦＩＴ２００３ 情報科学技術フォーラム 一般講演論文集 第３分冊」二〇〇三年八月二十五日発行、ｐ．４０１〜４０３
本発明は、表示スクリーンと映像発生部間の情報帰還を、カメラで撮像した画像により行い、複数スクリーンの配置、スクリーンの形状を容易に変更でき、部分に分けて発生した表示映像の連続性を保つ調整が容易になる方法及び手段を提供することにある。
上記課題を解決するため請求項１に係る歪みパラメータの生成方法は、複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる複数ｐのプロジェクタと、前記複数ｐのプロジェクタ毎に対応して備えられる複数ｍのコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有し、前記プロジェクタに対応したコンピュータｉにより作成されたコントラストが強い２種類の矩形を縦横に並べたテストパターンを当該プロジェクタに対応するスクリーンに投影する第１の課程と、前記テストパターンが投影されている前記スクリーンを、視点となる位置に配置された前記デジタルカメラにより撮像する第２の課程と、前記撮像した画像から、スクリーンを構成する頂点とテストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーとを画像認識により検出し、その位置を、デジタルカメラを接続した前記コンピュータにより求める第３の課程と、前記第３の課程で求めた前記頂点と前記コーナーとにより変換マトリクス、スケールマトリクス及び移動マトリクスをデジタルカメラを接続した前記コンピュータにより求める第４の課程と、第１の課程から第４の課程を、前記複数ｎ回繰り返した後、前記第４の課程で求めた各変換マトリクス、スケールマトリクス及び移動マトリクスを歪パラメータとして記憶装置に格納する第５の課程とからなることを特徴とするものである。
上記課題を解決するため請求項２に係る映像発生方法は、複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる複数ｐのプロジェクタと、前記複数ｐのプロジェクタ毎に対応して備えられる複数ｍのコンピュータとを有し、複数ｍの各々のコンピュータの処理において、コンピュータにより生成された画像が格納されているフレームメモリから画像を読み出す第１の課程と、前記読み出した画像をテクスチャマッピングする仮想面を請求項１において生成した歪みパラメータを用いて回転させる第２の課程と、前記回転させた仮想面に前記読み出した画像をテクスチャパターンとして貼り付ける第３の課程と、前記回転させた仮想面に貼り付けた映像をフレームメモリに格納する第４の課程と、前記第４の課程で格納したフレームメモリ内の映像を当該コンピュータに対応するプロジェクタにより対応するスクリーンへ投影する第５の課程とからなることを特徴とするものである。
上記課題を解決するため請求項３に係る歪みパラメータ生成装置は、複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる複数ｐのプロジェクタと、前記複数ｐのプロジェクタ毎に対応して備えられる複数ｍのコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有する歪みパラメータ生成装置であって、コントラストが強い２種類の矩形を縦横に並べたテストパターンを対応するスクリーン毎に投影する前記複数のプロジェクタと、視点となる位置に配置され、前記スクリーンに投影されている前記テストパターンを撮像するデジタルカメラと、前記デジタルカメラを接続したコンピュータにより構成され、前記撮像した画像から、各スクリーンを構成する頂点とテストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーとを画像認識により検出し、その位置を求める位置検出手段と、前記位置検出手段で求めた各スクリーン毎の前記頂点と前記コーナーとにより各スクリーンに係る変換マトリクス、スケールマトリクス及び移動マトリクスを前記デジタルカメラを接続したコンピュータにより求めるマトリクス計算手段と、前記マトリクス計算手段により求めた各変換マトリクス、スケールマトリクス及び移動マトリクスを歪パラメータとして格納する記憶装置とを備えたことを特徴とするものである。
上記課題を解決するため請求項４に係る映像発生装置は、複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる複数ｐのプロジェクタと、前記複数ｐのプロジェクタ毎に対応して備えられる複数ｍのコンピュータとを有し、前記複数ｍのコンピュータの各々において、生成した画像が格納されているフレームメモリから画像を読み出す画像読み出し手段と、前記読み出した画像をテクスチャマッピングする仮想面を請求項３において生成した歪みパラメータを用いて回転させる仮想面回転手段と、前記回転させた仮想面に前記読み出した画像をテクスチャパターンとして貼り付ける画像貼り付け手段と、前記回転させた仮想面に貼り付けた映像を格納するフレームメモリと、前記格納したフレームメモリ内の映像を当該コンピュータに対応するスクリーンへ投影するプロジェクタとからなることを特徴とするものである。
上記課題を解決するため請求項５に係る歪みパラメータの生成方法は、スクリーンを備える投影空間において、左目用プロジェクタと、右目用プロジェクタと、前記左目用プロジェクタと右目用プロジェクタとの各々に対応して備えられる左目用、右目用のコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有し、前記スクリーンを前記デジタルカメラで撮像する第１の課程と、前記撮像したスクリーンを構成する頂点を画像認識により検出し、その位置を前記デジタルカメラを接続した前記コンピュータにより求める第２の課程と、前記左目用又は右目用のコンピュータにより作成されたコントラストが強い２種類の矩形を縦横に並べたテストパターンをスクリーンに左又は右目用のいずれか１つのプロジェクタにより投影する第３の課程と、前記撮像した画像から、テストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーを画像認識により検出し、その位置を、前記デジタルカメラを接続した前記コンピュータにより求める第４の課程と、前記第２の課程で求めた前記頂点と前記第４の課程で求めた前記コーナーとにより左又は右目用のいずれか一方の変換マトリクス、スケールマトリクス及び移動マトリクスを前記デジタルカメラを接続した前記コンピュータにより求める第５の課程と、コンピュータにより作成されコントラストが強い２種類の矩形を縦横に並べたテストパターンをスクリーンに前記第３の課程による左又は右目用のいずれか一方のプロジェクタ以外の他の目用の１つのプロジェクタにより投影する第６の課程と、前記撮像した画像から、テストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーを画像認識により検出し、その位置を、前記デジタルカメラを接続した前記コンピュータにより求める第７の課程と、前記第２の課程で求めた前記頂点と前記第７の課程で求めた前記コーナーとにより第５の課程による左又は右目用のいずれか一方以外の左又は右目用のいずれか他方の変換マトリクス、スケールマトリクス及び移動マトリクスを前記デジタルカメラを接続した前記コンピュータにより求める第８の課程と、前記第５の課程及び第８の課程で求めた各変換マトリクス、スケールマトリクス及び移動マトリクスを歪パラメータとして記憶装置に格納する第９の課程とからなることを特徴とするものである。
上記課題を解決するため請求項６に係る映像発生方法は、スクリーンを備える投影空間において、左目用プロジェクタと、右目用プロジェクタと、前記左目用プロジェクタと右目用プロジェクタとの各々に対応して備えられるコンピュータとを有し、前記コンピュータの処理において、コンピュータにより生成された左目用又は右目用のいずれか一方の画像が格納されているフレームメモリから画像を読み出す第１の課程と、前記読み出した画像をテクスチャマッピングする左目用又は右目用のいずれか一方の仮想面を請求項５において生成した左目用又は右目用のいずれか一方の歪みパラメータを用いて回転させる第２の課程と、前記第２の課程により回転させた仮想面に前記読み出した画像をテクスチャパターンとして貼り付ける第３の課程と、前記第３の課程により仮想面に貼り付けた映像をフレームメモリに格納する第４の課程と、前記第４の課程で格納したフレームメモリ内の映像を左目用又は右目用のいずれか一方のプロジェクタによりスクリーンへ投影する第５の課程と、コンピュータにより生成され前記第１の課程により読み出される左又は右目用のいずれか一方の画像以外の他の目用の画像が格納されているフレームメモリから画像を読み出す第６の課程と、第２課程における左目用又は右目用のいずれか一方の仮想面以外の仮想面であって、前記読み出した画像をテクスチャマッピングする左目用又は右目用のいずれか一方の仮想面を、請求項５において生成した左目用又は右目用のいずれか一方の歪みパラメータであって、第２課程における左目用又は右目用のいずれか一方のパラメータ以外のパラメータを用いて回転させる第７の課程と、前記第７の課程により回転させた仮想面に前記第６の課程により読み出した画像をテクスチャパターンとして貼り付ける第８の課程と、前記第８の課程により仮想面に貼り付けた映像をフレームメモリに格納する第９の課程と、前記第９の課程で格納したフレームメモリ内の映像を、前記第５の課程による左目用又は右目用のいずれか一方のプロジェクタ以外の左目用又は右目用のいずれか一方のプロジェクタによりスクリーンへ投影する第１０の課程と、からなることを特徴とするものである。
上記課題を解決するため請求項７に係る歪みパラメータ生成装置は、スクリーンを備える投影空間において、左目用プロジェクタと、右目用プロジェクタと、前記左目用プロジェクタと右目用プロジェクタとの各々に対応して備えられる左目用、右目用のコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有し、コントラストが強い２種類の矩形を縦横に並べたテストパターンを前記スクリーンに投影する左目用のプロジェクタと、コントラストが強い２種類の矩形を縦横に並べたテストパターンを前記スクリーンに投影する右目用のプロジェクタと、視点となる位置に配置され、前記スクリーンを撮像するとともに左目用のプロジェクタ及び右目用プロジェクタからスクリーンに投影されているそれぞれのテストパターンを撮像する前記デジタルカメラと、前記デジタルカメラを接続したコンピュータにより構成され、前記デジタルカメラで撮像したスクリーンの画像から、前記スクリーンを構成する頂点を画像認識により検出し、その位置を求めるとともに、左目用のプロジェクタ及び右目用のプロジェクタからのそれぞれのテストパターンをデジタルカメラで撮像した画像から、テストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーを画像認識により検出し、その位置を求める位置検出手段と、前記位置検出手段で求めた前記頂点と左右目用のプロジェクタの各々が投影した前記コーナーとにより左右目用の各々の変換マトリクス、スケールマトリクス及び移動マトリクスを前記コンピュータにより求めるマトリクス計算手段と、前記マトリクス計算手段により求めた左右目用の各々の変換マトリクス、スケールマトリクス及び移動マトリクスを左右目用の各々の歪パラメータとして格納する記憶装置とを備えたことを特徴とするものである。
上記課題を解決するため請求項８に係る映像発生装置は、スクリーンを備える投影空間において、左目用プロジェクタと、右目用プロジェクタと、前記左目用プロジェクタと右目用プロジェクタとの各々に対応して備えられる左目用及び右目用のコンピュータとを有し、前記コンピュータにおいて、左目用の画像が格納されているフレームメモリから画像を読み出す左目用画像読み出し手段と、右目用の画像が格納されているフレームメモリから画像を読み出す右目用画像読み出し手段と、前記左目用画像読み出し手段により読み出した画像をテクスチャマッピングする仮想面を請求項７において生成した左目用の歪みパラメータを用いて回転させる左目用の仮想面回転手段と、前記右目用画像読み出し手段により読み出した画像をテクスチャマッピングする仮想面を請求項７において生成した右目用の歪みパラメータを用いて回転させる右目用の仮想面回転手段と、前記左目用の仮想面回転手段により回転させた仮想面に前記左目用画像読み出し手段により読み出した画像をテクスチャパターンとして貼り付ける左目用画像貼り付け手段と、前記右目用の仮想面回転手段により回転させた仮想面に前記右目用画像読み出し手段により読み出した画像をテクスチャパターンとして貼り付ける右目用画像貼り付け手段と、前記左目用画像貼り付け手段により仮想面に貼り付けた映像を格納する左目用フレームメモリと、前記右目用画像貼り付け手段により仮想面に貼り付けた映像を格納する右目用フレームメモリと、前記格納した左目用フレームメモリ内の映像をスクリーンへ投影する左目用プロジェクタと、前記格納した右目用フレームメモリ内の映像をスクリーンへ投影する右目用プロジェクタとからなることを特徴とするものである。
上記課題を解決するため請求項９に係る歪みパラメータの生成方法は、請求項５に記載の方法であって、複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる左右目用の２台複数ｐ／２組のプロジェクタと、前記左右目用の２台複数ｐ／２組のプロジェクタ毎に対応して備えられる左右目用の複数m組のコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有したことを特徴とするものである。
上記課題を解決するため請求項１０に係る映像発生方法は、請求項６に記載の方法であって、複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる左右目用の２台複数ｐ／２組のプロジェクタと、前記左右目用の２台複数ｐ／２組のプロジェクタ毎に対応して備えられる左右目用の複数m組のコンピュータとを有したことを特徴とするものである。
上記課題を解決するため請求項１１に係る歪みパラメータの生成装置は、請求項７に記載の装置であって、複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる左右目用の２台複数ｐ／２組のプロジェクタと、前記左右目用の２台複数ｐ／２組のプロジェクタ毎に対応して備えられる左右目用の複数m組のコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有したことを特徴とするものである。
上記課題を解決するため請求項１２に係る映像発生装置は、請求項８に記載の装置であって、複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる左右目用の２台複数ｐ／２組のプロジェクタと、前記左右目用の２台複数ｐ／２組のプロジェクタ毎に対応して備えられる左右目用の複数m組のコンピュータとを有したことを特徴とするものである。
上記課題を解決するため請求項１３に係る映像発生方法は、請求項２、請求項６又は請求項１０のいずれか１に記載の映像発生方法であって、スクリーンに投影する各プロジェクタの隣り合う映像を一部領域を重ね合わせるようにしたことを特徴とするものである。
上記課題を解決するため請求項１４に係る映像発生装置は、請求項４、請求項８又は請求項１２のいずれか１に記載の装置であって、スクリーンに投影する各プロジェクタの隣り合う映像を一部領域を重ね合わせるようにしたことを特徴とするものである。
請求項１に係る歪みパラメータの生成方法によると、複数スクリーン上に所定のテストパターンを投影し、視点から見た各スクリーンの頂点及びスクリーンの形状に従って投影されたテストパターンのコーナーを検出して、視点位置にあるカメラと複数の各スクリーンとの位置関係の変換マトリクス、スケールマトリクス及び移動マトリクスを歪みパラメータとして求めることができる。
請求項２に係る映像発生方法によると、各スクリーン毎に生成した画像を、請求項１において生成した歪みパラメータを用いることにより、画像をテクスチャマッピングする仮想面を回転して逆の歪みを与えることができ、その仮想面に画像を貼り付けて格納するから、この逆の歪みが与えられた画像をスクリーンに投影して、視点から複数のスクリーンに対し全体で一つの画像の映像が連続性を維持するように正しく見えるように写すことができる。
請求項３に係る歪みパラメータ生成装置によると、プロジェクタで複数スクリーン上に所定のテストパターンを投影し、そのテストパターンをデジタルカメラで撮像し、位置検出手段により視点から見た各スクリーンの頂点及びスクリーンの形状に従って投影されたテストパターンのコーナーを検出し、マトリクス計算手段により視点位置にあるカメラと複数の各スクリーンとの位置関係の変換マトリクス、スケールマトリクス及び移動マトリクスを歪みパラメータとして求めることができ、これを記憶装置に格納しておくことができる。
請求項４に係る映像発生装置によると、画像読み出し手段により各スクリーン毎に生成した画像が格納されているフレームメモリから画像を読み出し、一方、仮想面回転手段は前記読み出した画像をテクスチャマッピングする仮想面を請求項３において生成した歪みパラメータを用いて回転させ、画像貼り付け手段は前記回転させた仮想面に前記読み出した画像をテクスチャパターンとして貼り付けて、画像に逆の歪みを与えることができ、その仮想面に画像を貼り付けてフレームメモリに格納するから、この逆の歪みが与えられた画像をプロジェクタからスクリーンに投影して、視点から複数のスクリーンに対し全体で一つの画像の映像が連続性を維持するように正しく見えるように写すことができる。複数のプロジェクタを用いて１つの大画面映像を合成するから投影距離を短縮することができる。
請求項５に係る歪みパラメータの生成方法によると、スクリーン上に左右用の所定のテストパターンを投影し、視点から見た各スクリーンの頂点及びスクリーンの形状に従って投影されたテストパターンのコーナーを検出して、視点位置にあるカメラとスクリーンとの位置関係の変換マトリクス、スケールマトリクス及び移動マトリクスを左右用の各歪みパラメータとして求めることができる。
請求項６に係る映像発生方法によると、左右目用に生成した画像を、請求項５において生成した左右目用のそれぞれの歪みパラメータを用いることにより、画像をテクスチャマッピングする左右目用のそれぞれの仮想面を回転して逆の歪みを与えることができ、その仮想面に画像を貼り付けて格納するから、この逆の歪みが与えられた画像をスクリーンに投影して、視点からスクリーンに対し左右用の画像の映像が正しく見えるように写すことができ、立体視を可能にする。
請求項７に係る歪みパラメータ生成装置によると、プロジェクタでスクリーン上に左右目用の所定のテストパターンを投影し、そのテストパターンをデジタルカメラで撮像し、位置検出手段により視点から見たスクリーンの頂点及びスクリーンの形状に従って投影されたテストパターンのコーナーを検出し、マトリクス計算手段により視点位置にあるカメラと複数の各スクリーンとの位置関係の変換マトリクス、スケールマトリクス及び移動マトリクスを歪みパラメータとして求めることができ、これを記憶装置に格納しておくことができる。
請求項８に係る映像発生装置によると、画像読み出し手段により左右目用に生成した画像が格納されているフレームメモリから画像を読み出し、一方、仮想面回転手段は前記読み出した画像をテクスチャマッピングする仮想面を請求項７において生成した歪みパラメータを用いて回転させ、画像貼り付け手段は前記回転させた仮想面に前記読み出した画像をテクスチャパターンとして貼り付けて、画像に逆の歪みを与えることができ、その仮想面に画像を貼り付けてフレームメモリに格納するから、この逆の歪みが与えられた画像をプロジェクタからスクリーンに投影して、視点からスクリーンに対し左右用の画像の映像が正しく見えるように写すことができ、立体視を可能にする。
請求項９に係る歪みパラメータの生成方法によると、請求項５に記載の方法による効果に加えて、複数スクリーン上に所定のテストパターンを投影し、視点から見た各スクリーンの頂点及びスクリーンの形状に従って投影されたテストパターンのコーナーを検出して、視点位置にあるカメラと複数の各スクリーンとの位置関係の変換マトリクス、スケールマトリクス及び移動マトリクスを歪みパラメータとして求めることができる。
請求項１０に係る映像発生方法によると、請求項６に記載の方法による効果に加えて、各スクリーン毎に生成した画像を、請求項５において生成した歪みパラメータを用いることにより、画像をテクスチャマッピングする仮想面を回転して逆の歪みを与えることができ、その仮想面に画像を貼り付けて格納するから、この逆の歪みが与えられた画像をスクリーンに投影して、視点から複数のスクリーンに対し全体で一つの画像の映像が連続性を維持するように正しく見えるように写すことができる。
請求項１１に係る歪みパラメータ生成装置によると、請求項７に記載の装置による効果に加えて、プロジェクタで複数スクリーン上に所定のテストパターンを投影し、そのテストパターンをデジタルカメラで撮像し、位置検出手段により視点から見た各スクリーンの頂点及びスクリーンの形状に従って投影されたテストパターンのコーナーを検出し、マトリクス計算手段により視点位置にあるカメラと複数の各スクリーンとの位置関係の変換マトリクス、スケールマトリクス及び移動マトリクスを歪みパラメータとして求めることができ、これを記憶装置に格納しておくことができる。
請求項１２に係る映像発生装置によると、請求項８に記載の装置による効果に加えて、画像読み出し手段により各スクリーン毎に生成した画像が格納されているフレームメモリから画像を読み出し、一方、仮想面回転手段は前記読み出した画像をテクスチャマッピングする仮想面を請求項３において生成した歪みパラメータを用いて回転させ、画像貼り付け手段は前記回転させた仮想面に前記読み出した画像をテクスチャパターンとして貼り付けて、画像に逆の歪みを与えることができ、その仮想面に画像を貼り付けてフレームメモリに格納するから、この逆の歪みが与えられた画像をプロジェクタからスクリーンに投影して、視点から複数のスクリーンに対し全体で一つの画像の映像が連続性を維持するように正しく見えるように写すことができる。
請求項１３に係る映像発生方法によると、請求項２、請求項６又は請求項１０のいずれか１に記載の方法による効果に加えて、複数プロジェクタをオーパラップして配置し、オーバーラップ領域において色混合を行うことにより、該当プロジェクタより隣接するプロジェクタの特性の相違を視認しにくくすることができる。
請求項１４に係る映像発生装置によると、請求項４、請求項８又は請求項１２のいずれか１に記載の装置による効果に加えて、オーパラップして配置した複数プロジェクタから投射する際に、オーバーラップ領域において色混合を行うことにより、該当プロジェクタより隣接するプロジェクタの特性の相違を視認しにくくすることができる。
（［１］複数スクリーンに係る歪みパラメータ及び映像発生）
以下、本発明の実施例について図を参照して説明する。図１（ａ）は複数スクリーンに係る歪みパラメータの生成方法の一実施例を説明するフロー図及び図１（ｂ）は複数スクリーンに係る映像発生方法の一実施例を説明するフロー図である。図２は複数スクリーンに係る歪みパラメータの生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。図２において、１０１ｉ（ｉ＝１，２，３，…ｎ）はスクリーン（またはＳｉ）、１０２ｉは前記スクリーン１０１ｉ毎に対応して備えられる複数ｐのプロジェクタ（又はＰｉ）、１０３ｉは前記複数ｐのプロジェクタ１０２ｉ毎に対応して備えられる複数ｍのコンピュータ（又はＰＣｉ）である。図２（ａ）は、ｐ＝ｍ＝ｎ＝３の場合を示す。１０４はデジタルカメラ、１０５は前記デジタルカメラ１０４を接続するコンピュータ、１０６は前記コンピュータ１０５により構成される位置検出手段、１０７は前記コンピュータ１０５により構成されるマトリクス計算手段、１１０は記憶装置、１１１は各コンピュータ１０３ｉを接続するネットワークである。１１２ｉは各コンピュータ１０３ｉにより構成される画像読み出し手段、１１３ｉは各コンピュータ１０３ｉにより構成される仮想面回転手段、１１４ｉは各コンピュータ１０３ｉにより構成される画像貼り付け手段、１１５ｉは各コンピュータ１０３ｉに備えられる第１のフレームメモリ、１１６ｉは各コンピュータ１０３ｉに備えられる第２のフレームメモリ、１１８ｉは各コンピュータ１０３ｉに備えられるグラフィックスボードであり、例えば前記第１のフレームメモリ１１５ｉ、第２のフレームメモリ１１６ｉを有する。１１７ｉは各コンピュータ１０３ｉにより構成される３次元グラフィックス生成手段、各コンピュータ１０３ｉはネットワークに関しノードｉの関係にあり、コンピュータ１０５はホストとなる。
複数のスクリーン１０１ｉは、例えば四角形、面数は図２（ａ）において、３面すなわち、ｉ＝１，２，３であり、映像投影現場に応じた配置に置かれ、複数のものを組み合わせて投影空間を構成する。プロジェクタ１０２ｉはスクリーン１０１ｉとは必ずしも正対せず、プロジェクタ１０２ｉの光軸とスクリーン１０１ｉの面とは直交しなくとも良い。デジタルカメラ１０４はスクリーンの映像を人がスクリーンの画面を見る位置である視点に配置される。カメラ１０４、スクリーン１０１ｉ、プロジェクタ１０２ｉの位置関係すなわち空間的配置が不明な状態である。
（［１−１］歪みパラメータの生成）
上記構成による歪みパラメータの生成を説明する。
複合した表示空間にあって、表示映像を連続にするためには表示スクリーン１０１ｉとこれに対応するプロジェクタ１０２ｉの空間的関係を知る必要がある。
上述したように、表示スクリーン１０１ｉとプロジェクタ１０２ｉの空間的関係を知るには、プロジェクタプロジェクタ１０２ｉより形状が既知のテストパターンを投影して、これをデジタルカメラ１０４により撮像することにより、図形の変形の程度により空間的関係を求める。
これを表示空間を構成する全スクリーン１０１ｉ（ｉ＝１，２，３）に対して繰り返すことにより、全てのプロジェクタ１０２ｉとスクリーン１０１ｉの関係が求まる。この関係を用いて、逆に投影前の映像を歪ませて投影することにより歪みの補正が可能となる。
まず、単一面のスクリーンに関して歪み補正を伴う映像発生のための歪みパラメータ生成を説明する。複合した表示空間へは、原理的には、空間を構成するスクリーン数分、単一面の方法を繰り返すことにより実施する。
図４はカメラ１０４、スクリーン１０１、プロジェクタ１０２の空間的配置が不明な状態で、既知のテストパターンを用いて空間的関係を求める方法を示したものである。
カメラ１０４（視点と想定）の撮像面とプロジェクタ１０２の撮像面の空間的関係は３×３の変換マトリクス（Ｈｏｍｏｇｒａｐｙ Ｍａｔｒｉｘ）により関係づけられる。
このＨｏｍｏｇｒａｐｙ Ｍａｔｒｉｘの求め方を示したものが図５である。これを求めるには、テストパターンの所定の点についてプロジェクタ１０２による点Ｐと対応するカメラ１０４による点Ｃを検出することにより数学的に求める。
図６は、図５に対応して、スクリーン、プロジェクタが複数の場合で、プロジェクタの点Ｐｉｊと対応するカメラの点Ｃｉｊを検出することにより数学的に求めることを示したものである。
各コンピュータ１０３ｉは、テストパターンを作成し、これを対応する各プロジェクタ１０２ｉにより対応するスクリーン１０１ｉに投影する（図１（ａ）のＰ１０１）。テストパターンの例を、図７（（ｉ），（ｉｉ）の表示はテストパターンを構成しない。）に示す。テストパターンは、黒と白のようにコントラストの強い２種類の矩形（実施例では正方形）縦横に並べたものである。テストパターンのコーナーは、テストパターンを構成する黒と白の正方形の各辺が介する点（例えば図７の７０１）である。
このとき、表示スクリーン１０１ｉとプロジェクタ１０２ｉの空間的関係に従ってテストパターンが歪んで投影されることになる。
前記テストパターンが投影されている前記スクリーン１０１ｉを、視点となる位置に配置された前記デジタルカメラ１０４により撮像する（図１（ａ）のＰ１０２）。
位置検出手段１０６は、前記撮像した画像から、スクリーン１０１ｉを構成する頂点とテストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーとを画像認識により検出し、その位置を、デジタルカメラ１０４を接続した前記コンピュータ１０５により求める（図１（ａ）のＰ１０３）。
スクリーン１０１ｉを構成する頂点はスクリーン１０１ｉの矩形を構成する辺の端である。この頂点を画像認識により検出する。
テストパターンのコーナー点検出を説明する。
テストパターンが投影されている画像をＦＴｃａｍ、テストパターンが投影されていない画像をＦｃａｍとする。
・ＦＴｃａｍとＦｃａｍの差分を取り、背景を取り除いたテストパターンのみの画像ＦＤＴを作成する。
・デジタルカメラ１０４の画像データ内に、図８に示す矩形領域を設定し、画像ＦＤＴ内を探索してテストパターンのコーナー点を検出する。図８においてＬは探索矩形領域の縦と横の大きさを表しており、単位は「画素」である。「Ｌ」はプログラム内で変更することができ任意に決定することができる。探索はプログラムにより自動的に行う。探索は、例えば、図９に示すように画像の左上から順次右下へ向かって行う。矩形領域の半分（Ｌ／２）だけ位置をずらしながら探索を行う。
・探索手段として、テストパターンが白と黒の部分の組み合わせであり、コーナー点はコントラストが高い、という特徴を利用する。コーナー点では構造上コントラストが高いため輝度のばらつきを大きいと考えられる。そこで、集団のばらつきを比較する際に用いる統計量として知られる変動係数Ｃνを評価値として検出を行う。つまり、輝度のばらつきが大きいほど変動係数の値は大きくなり１に近づくことになる。変動係数Ｃνは次の式で表される。
Ｃν＝σ／μ （１）
ここで、μは領域内の輝度の平均、σは輝度の標準偏差を表す。
・最初に、図８に示した矩形領域の内、図１０（ａ）に示す矩形領域の上半分と左半分の領域の組み合わせで領域内の変動係数を評価し候補点を検出する。ここで候補点は図８に示す矩形領域の中心とする。テストパターンのコントラストが確保されている場合、コーナー点では図１０（ａ）に示す２つの矩形領域の変動係数（１０１と１０２からなる左半分の領域によるものと、１０１と１０３からなる上半分の領域によるもの）はテストパターンの構造上大きくなる。図７に、矩形領域の上半分と左半分の領域の組み合わせでテストパターン内の探索を行う場合で、ある時の探索領域の位置を表示してある。図７において、（ｉ）による位置ではテストパターンのコーナー点に近いため輝度のばらつきが大きく変動係数の値も大きくなる。しかし、（ｉｉ）による位置では輝度の高い部分が領域の大半を占めているため輝度のばらつきが小さく変動係数の値も小さくなる。このように変動係数を用いてコーナー点を探索することが可能である。
図１０（ａ）に示す領域による探索で変動係数の値が大きいと判断した場合、更に図１０（ｂ）に示す矩形領域の下半分と右半分の領域の組み合わせによる探索で評価し、候補点の信頼性を向上させる。
・候補点は必ずしもテストパターンのコーナー点と一致しないため、候補点を中心に矩形領域を設定し、輝度情報を用いて縦方向と横方向のエッジ（テストパターンを構成する黒白の領域が接する線）を検出する。エッジの検出は、候補点を中心とした矩形領域内で行う。図１１（ａ）のように左半分の領域、図１１（ｂ）のように上半分の領域で、１画素ずつ輝度値を取得し、有る位置の輝度情報とある位置の前後の輝度値の差が最大となる位置をエッジの位置と決定する。このようにして求めた縦のエッジ線と横のエッジ線の交差する位置をテストパターンのコーナー位置として用いる。
Ｐ１０３の課程で求めた前記頂点と前記コーナーとにより当該デジタルカメラ１０４が位置する点における視点に対するスクリーン１０１ｉとプロジェクタ１０２ｉの空間関係による変換マトリクス、スケールマトリクス及び移動マトリクスをデジタルカメラ１０４を接続した前記コンピュータ１０５により求める（図１（ａ）のＰ１０４）。
（Ｈｏｍｏｇｒａｐｈｙ Ｍａｔｒｉｘ）
画像処理により、各プロジェクタ１０２ｉについて座標Ｐｉｊと対応するカメラ１０４の座標Ｃｉｊが複数検出できれば、次の式（２）が成立するので、
Figure 2005234698
 となるマトリクス（３×３）
Figure 2005234698
を推測する。
上記の対応する点、Ｐｉｊ（ｘｉｊ ｐ，ｙｉｊ ｐ）とＣｉｊ（ｘｉｊ Ｃ，ｙｉｊ ｃ）は既知であるので、（１）式は
Figure 2005234698
の要素を未知数とする連立方程式（３）となる
Ａ《ｈ′》＝《ｂ》 （３）
ここで、例えば《ｈ′》はベクトルｈ′を示す表記である。なお、この明細書、図面においてベクトル表記を、《 》を用いた場合と、白抜き又は肉太の場合とで併用して表す。
《ｈ′》は
Figure 2005234698
の要素を連続して並べた列ベクトルであり未知な値である。マトリクスＡ、ベクトル《ｂ》は既知のＰｉｊ，Ｃｉｊより決まる。《ｈ′》は９個の未知数を持つが（３）式がスケールに対して同値であるため、
《ｈ》＝［ｈ１１／ｈ３３，ｈ１２／ｈ３３・・・ｈ３３／ｈ３３］
を導入すれば、
Ａ《ｈ》＝《ｂ》 （４）
である。これは８個の未知数を持つ。従って４点以上のＰｉｊ，Ｃｉｊ（ｊ≧４）を用いれば（４）式の連立方程式は数値的に解ける。この数値的解法は良く知られている。
上記で求めた《ｈ》を折り返してマトリクス
Figure 2005234698
とし、この
Figure 2005234698
を用いて、カメラ画像上の歪が無いパターンの点Ｃｉｊに次の変換
Figure 2005234698
 を施せば、撮像時にカメラ位置より見て、歪の無い正しい映像を作ることができる（図５、図６）。
従って、発生した映像に
Figure 2005234698
を操作すれば、撮影時に映像が正しく表示される。
（複合面の歪補正）
図１２は、複合表示空間に前記の処理を複数回適用してそれぞれのプロジェクタ１０２ｉとスクリーン１０１ｉの関係を求める処理を示す。
（１）プロジェクタ１０２ｉよりテストパターンをスクリーン１０１ｉに写す。撮像した画像を《Ｆｓｉ》とする。
但し、《Ｆｓ》＝［《Ｃ１》，《Ｃ２》・・・，《ＣＭ》］，《Ｃｉ》＝［ｒｉ，ｇｉ，ｂｉ］
である。ここで、［《Ｃ１》，《Ｃ２》・・・，《ＣＭ》］は画素情報、その添え字「Ｍ」は画像の画素数を表している。画像サイズが６４０×４８０画素であれば「Ｍ」の値は６４０×４８０＝３０７２００となる。画素情報の各々は、更にｒ，ｇ，ｂ（赤、緑、青）の３情報を持つ。
（２）プロジェクタ１０２ｉのテストパターンを消す。スクリーン１０１ｉに写す撮像した画像を《Ｆｂｉ》とする。
（３）差分を取り背景画像を除く
《Ｆｉ》＝《Ｆｓｉ》−《Ｆｂｉ》
（４）画像《Ｆｉ》に対して、前記「Ｈｏｍｏｇｒａｐｈｙ Ｍａｔｒｉｘ」の導出課程を用いて、マトリクスＨｉ′を求める。
上記で求めたＨｏｍｏｇｒａｐｈｙマトリクスＨｉ′はプロジェクタ座標Ｐｉとカメラ位置Ｆにおけるカメラ座標Ｃとの対応を示す。
この逆マトリクスを用いて表示すべきモデルの座標点を変換しておけば、位置Ｆから見て歪の無い映像が見える。
しかし、映像を見るのは視点位置Ｅであるので、これを視点位置Ｅ用に補正する必要がある。以下に補正手順を示す。
（１）画像《Ｆｂ》より正面のスクリーン１０１２を構成する頂点を求める。図１２の《ＦＣ》はカメラ１０４から得られた画像を元に検出したスクリーンの頂点の点群を表す。
・《Ｆｂ》にラプラシアンをかけてエッジ部の強調を行う。
・白と黒とで二値化することによりエッジの抽出を行う。
・頂点の検出を行う。
・
Figure 2005234698
 《Ｓｉｊ》は画像輝度であり、座標位置（ｉ，ｊ）を中心とした指定範囲ｍ，ｌ内の輝度を用いて平滑化した値となる。
・画像の輝度《Ｓｉｊ》にラプラシアンをかける。すなわち、画像を精鋭化するため、ラプラシアンフィルタを施す。
・メモリを辿り、上位のＭ個を抜き出す。
但し、Ｍはスクリーンの頂点数であり、この場合４である。
上位４個の点の格納アドレスをａｉ（ａ１，ａ２，ａ３，ａ４）とすれば、
Figure 2005234698
 となる。
以上の処理により、点群
Figure 2005234698
を求める。
（２）
Figure 2005234698
で規定される変形された点群とスクリーンを規定する正規な（歪のない）点群《ｍＣ》との対応より、
Figure 2005234698
 前記説明の方法により、Ｈｄを求める。
（３）Ｈｄを用いて、視点Ｅのカメラ座標と各プロジェクタＰｉの座標系との関係Ｈｉは
Ｈｉ′＝ＨｉＨｄより
Ｈｉ ＝Ｈｄ −１Ｈｉ となる。
（スクリーンと表示映像の合致）
前記で求めたＨｉをそのまま使用したのでは表示映像とスクリーンとの合致がとれていない。このため、表示映像とスクリーンを合致させるためには、縮小、拡大のためのスケール量と、平行移動量を求める。
（１）スケール
図１３に従い、スケールを求める。
次の計算を行う。
《ｍ１ｉ′》＝Ｈｉ −１《ｍ１ｉ −１》
《ｍ２ｉ′》＝Ｈｉ −１《ｍ２ｉ −１》
《ｍ１ｉ》，《ｍ２ｉ》は投影する映像の座標で作成したテストパターンの上部頂点、《ｍ１ｉ′》，《ｍ２ｉ′》は正規座標内のテストパターンの上部頂点である。Ｈｉ −１は投影する映像の座標から正規座標へ変換するための変換マトリクスを表している。Ｈｉ −１を用いることにより、投影する映像の座標上で作成したテストパターンの上部頂点《ｍ１ｉ》，《ｍ２ｉ》が正規座標内のどの位置になるかを計算することができる。視点位置から見て歪みのない映像を視点位置用に補正するために必要な計算である。（図１４参照。図１２（ａ）の下方のＨｉ，Ｈｉ′，Ｈｄ間の関係に対応する。）
《Ｓ１ｉ′》＝Ｈｄ《Ｓ１ｉ》
《Ｓ２ｉ′》＝Ｈｄ《Ｓ２ｉ》
《Ｓ１ｉ》，《Ｓ２ｉ》はカメラの画像座標内のスクリーンの上部頂点、《Ｓ２ｉ′》，《Ｓ２ｉ′》は正規座標内のスクリーンの上部頂点を表している。Ｈｄはカメラの画像座標から正規座標へ変換するための変換マトリクスを表している。Ｈｄを用いることにより、カメラの画像座標内のスクリーン上部頂点《Ｓ１ｉ》，《Ｓ２ｉ》が正規座標内のどの位置になるかを計算することができる。視点位置から見て歪みのない映像を視点位置用に補正するために必要な計算である。（図１５参照。図１２（ａ）の下方のＨｉ，Ｈｉ′，Ｈｄ間の関係に対応する。）
２点間の距離を求める。
ｌｍｉ＝｜《ｍ１ｉ′》−《ｍ２ｉ′》｜
ｌｉ ＝｜《Ｓ１ｉ′》−《Ｓ２ｉ′》｜
距離より、スケールを求める。
ｋｉ＝ｌｍｉ／ｌｉ
表示テストパターンのスケールをｋｘｉ′，ｋｙｉ′とすれば、求めるスケールは
ｋｘｉ＝ｋｘｉ′ｋｉ
ｋｙｉ＝ｋｙｉ′ｋｉ
従って、スケールマトリクスＨＳｉは
Figure 2005234698
（平行移動量）
スクリーンと表示領域を合致させるには、平行移動によりスクリーンの基点と、それに対応する画像の基点を合わせる必要がある。以下が平行移動量である。
《Ｏｔｉ′》＝Ｈｉ《Ｏｔｉ》
《ＯＳｉ′》＝Ｈｄ《ＯＳｉ》
ここで、《Ｏｔｉ》，《ＯＳｉ》は、カメラの画像座標におけるテストパターンの中心位置とスクリーンの中心位置である。また、《Ｏｔｉ′》，《ＯＳｉ′》は、正規座標におけるテストパターンの中心位置とスクリーンの中心位置である。
移動ベクトル《Ｔｉ》は、
《Ｔｉ》＝（《ＯＳｉ′》−《Ｏｔｉ′》
従って、移動マトリクスＨｔｉは、
Figure 2005234698
となる。
（最終マトリクス）
回転（Ｈｉに含まれる。）、平行移動Ｈｔｉ、スケールマトリクスＨＳｉを用いて、スクリーンと表示映像を合致させるための最終マトリクスＨｉ ＴＯＴＡＬは、
Ｈｉ ＴＯＴＡＬ＝ＨｔｉＨＳｉＨｉ
である。
第１の課程（Ｐ１０１）から第２の課程（Ｐ１０２）、第３の課程（Ｐ１０３）、第４の課程（Ｐ１０４）を、前記複数ｎ回繰り返した後、前記第４の課程（Ｐ１０４）で求めた各変換マトリクス、スケールマトリクス及び移動マトリクスを歪パラメータとして記憶装置に格納する第５の課程（図１（ａ）のＰ１０５）。
上述した複合面の歪補正により、
Ｈ１ ＴＯＴＡＬ，Ｈ２ ＴＯＴＡＬ，Ｈ３ ＴＯＴＡＬ
を、それぞれ求める。
ここに添え字１〜３はスクリーン１０１ｉの番号を示す。（また、このスクリーンの番号にてコンピュータ１０３ｉ番号が対応している。）
求めた、Ｈ１ ＴＯＴＡＬ，Ｈ２ ＴＯＴＡＬ，Ｈ３ ＴＯＴＡＬを歪パラメータファイルとして記憶装置１１０に格納する。
各スクリーン１０１ｉについてテストパターンを表示する際に、１つのスクリーン例えば中央のスクリーン１０１２に各々に対応するプロジェクタ１０２１，１０２２，１０２３からテストパターンを重ねて投影して同じ大きさにしておき、それを各スクリーン１０１ｉで表示する。
（［１−２］映像発生）
図１（ｂ）、図２及び図４を参照して説明する。
（ａ）コンピュータ１０３ｉの画像読み出し手段１１２１ｉは、その３次元グラフィックス生成手段１１７ｉを用いてレンダリング（画像生成）された結果が格納されている第１のフレームメモリ１１５ｉの内容を読む（図１（ｂ）のＳ１０１）。図１６（ａ）のように歪がない映像が第１のフレームメモリ１１５ｉに格納されている。このときのレンダリング（画像生成）は透過投影による。
（ｂ）仮想面回転手段１１３ｉは、テクスチャマッピングする面を上述の「［１］歪みパラメータの生成」において生成した歪みパラメータから［Ｈｉ ＴＯＴＡＬ］−１を用いて回転させる（図１６（ｂ））（図１（ｂ）のＳ１０２）。
（ｃ）画像貼り付け手段１１４ｉは、映像発生の投影法を平行投影として、上記課程Ｓ１０２のテクスチャマッピング面へ第１のフレームメモリ１１５ｉの内容の映像をテクスチャパターンとして貼り付ける（図１（ｂ）のＳ１０３）。貼り付けることにより逆歪がかけられることになる。
（ｄ）逆歪をかけた映像すなわち回転させたテクスチャマッピング面に貼り付けた映像を第２のフレームメモリ１１６ｉに格納される（図１（ｂ）のＳ１０４）。このときのレンダリングは平行投影による。
（ｅ）第２のフレームメモリ１１６ｉの内容が、プロジェクタ１０２ｉを経由してスクリーン１０１ｉに投影される（図１（ｂ）のＳ１０５）。このとき、映像の歪が補正されている。
以上の（ａ）〜（ｅ）の手順をｉ＝１〜３まで繰り返して全スクリーン１０１ｉへ表示を行う。
図１７に、複数コンピュータ１０３ｉにより読み出された前記（ａ）の歪みのない画像（左列のパス１の画像）と、前記（ｄ）の逆歪みがかけられた画像（右列のパス２の画像）が示される。
（その他）
上述の説明では、スクリーン１０１ｉ、プロジェクタ１０２ｉ及びコンピュータ１０３ｉの数を同数のｐ＝ｍ＝ｎ＝３の場合を説明した。ｐ，ｍ，ｎの数は同数に限らない。例えば、各スクリーン１０１ｉに画像を投影するプロジェクタ１０２ｉｊを複数、例えば、図１８のように、２台毎設け、これらからの画像を各スクリーン１０１ｉ上に例えば上下の縦に並ぶように設けるようにしても良い。これらの画像は全体で１つの映像となるように投影される。複数のプロジェクタから投影されたスクリーンが複数の場合についての表示例を図１９に示す。
また、図２（ｅ）のように、コンピュータ１０３の１台にグラフィックスボード１１８を複数例えば２つを設け、各グラフィックスボード１１８ｊ，１１８（ｊ＋１）をプロジェクタ１０２ｉに接続する。コンピュータ１０３は、各グラフィックスボード１１８ｊ，１１８（ｊ＋１）の各々に対し上述したような必要な処理を例えば時分割により行う。
また、上記説明では、デジタルカメラ１０４はコンピュータ１０５に接続している場合を示したが、プロジェクタ１０２ｉ毎に対応して備えられる複数ｎのコンピュータ１０３ｉのいずれか１に接続させ、コンピュータ１０５のホストの機能を兼用させても良い。
さらに、上述の実施例の説明では、スクリーンは１０１ｉは、四角形、面数は３面のものを例示したが、本発明では各スクリーンの形状、面数に依存しない。例えば、正１２面体（正５角形、１２面）、直方体（４角形、６面）などの複合スクリーンにも適用可能である。また、図２では背面投影の例を示しているが、図６のようにテストパターンの対応点を取る方式のため前面投影にも対応することができる。
（［２］立体視への応用、歪みパラメータの検出）
以下、偏光型立体視へ応用した実施例について図を参照して説明する。
図２０は偏光型立体視に係る歪みパラメータの生成方法の一実施例を説明するフロー図及び図２１は立体視に係る映像発生方法の一実施例を説明するフロー図である。図２２は立体視に係る歪みパラメータの生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。
図２２（ａ），（ｂ），（ｃ）において、２００１はスクリーン、２００２１は左目用映像を投射する左目用プロジェクタ、２００２２は右目用映像を投射する右目用プロジェクタ、２００３１は前記左目用プロジェクタ２００２１に対応して備えられる左目用のコンピュータ、２００３２は前記右目用プロジェクタ２００２２に対応して備えられる右目用のコンピュータ、２００４は前記右目用のコンピュータ２００３２に接続されるデジタルカメラ、２００６は前記右目用のコンピュータ２００３２により構成される位置検出手段、２００７は前記右目用のコンピュータ２００３２により構成されるマトリクス計算手段、２０１０は記憶装置である。２０１２１は前記左目用のコンピュータ２００３１により構成される画像読み出し手段、２０１２２は前記右目用のコンピュータ２００３２により構成される画像読み出し手段、２０１３１は前記左目用のコンピュータ２００３１により構成される仮想面回転手段、２０１３２は前記右目用のコンピュータ２００３２により構成される仮想面回転手段、２０１４１は前記左目用のコンピュータ２００３１により構成される画像貼り付け手段、２０１４２は前記右目用のコンピュータ２００３２により構成される画像貼り付け手段、２０１５１は前記左目用のコンピュータ２００３１に備えられる第１のフレームメモリ、２０１５２は前記右目用のコンピュータ２００３２に備えられる第１のフレームメモリ、２０１６１は前記左目用のコンピュータ２００３１に備えられる第２のフレームメモリ、２０１６２は前記右目用のコンピュータ２００３２に備えられる第２のフレームメモリ、２０２０１７１は前記左目用のコンピュータ２００３１により構成される３次元グラフィックス生成手段、２０２０１７２は前記右目用のコンピュータ２００３２により構成される３次元グラフィックス生成手段である。２０２１は前記コンピュータ２００３１に備えられるグラフィクスボード、２０２２は前記コンピュータ２００３２に備えられるグラフィックスボードであり、例えば、前記第１のフレームメモリ２０１５ｉ、第２のフレームメモリ２０１６ｉを有する。
図２２（ｄ）は、左右目用の画像を立体視するために合致させた状態を示す。
（［２−１］歪みパラメータの生成）
上記構成による歪みパラメータの生成を説明する。
（ａ）スクリーン２００１をデジタルカメラ２００４で撮像する（図２０のＰ２０１）。
（ｂ）デジタルカメラ２００４を接続した右目用のコンピュータ２００３２は、撮像したスクリーン２００１を構成する頂点（角）を画像認識により検出し、その位置を求める（図２０のＰ２０２）。
（ｃ）例えば、左目用のプロジェクタ２００２１は、左目用コンピュータ２００３１により作成されたコントラストが強い２種類の矩形を縦横に並べたテストパターンをスクリーン２００１に投影する（図２０のＰ２０３）。このテストパターンは上述の複数スクリーンにおけるものと同様のものである。
（ｄ）デジタルカメラ２００４を接続した右目用のコンピュータ２００３２の位置検出手段２００６は、撮像した画像から、テストパターンの矩形部分の４個が隣接する部分が構成するコーナーを画像認識により検出し、その位置を求める（図２０のＰ２０４）。
（ｅ）デジタルカメラ２００４を接続した右目用のコンピュータ２００３２のマトリクス計算手段２００７は、第２の課程（Ｐ２０２）で求めた前記頂点と前記第４の課程（Ｐ２０４）で求めた前記コーナーとにより左目用の変換マトリクス、スケールマトリクス及び移動マトリクスを求める（図２０のＰ２０５）。
（ｆ）右目用のプロジェクタ２００２２は、右目用コンピュータ２００３２により作成されたコントラストが強い２種類の矩形を縦横に並べたテストパターンをスクリーン２００１に投影する（図２０のＰ２０６）。このテストパターンは上述の第３の課程（Ｐ２０３）におけるものと同一の大きさに合わせて投影する。
（ｇ）デジタルカメラ２００４を接続した右目用のコンピュータ２００３２の位置検出手段２００６は、第６の課程（Ｐ２０６）で撮像した画像から、テストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーを画像認識により検出し、その位置を求める（図２０のＰ２０７）。
（ｈ）デジタルカメラ２００４を接続した右目用のコンピュータ２００３２は、第２の課程（Ｐ２０２）で求めた前記頂点と前記第７の課程（Ｐ２０７）で求めた前記コーナーとにより右目用の変換マトリクス、スケールマトリクス及び移動マトリクスを求める（図２０のＰ２０８）。
（ｉ）第５の課程（Ｐ２０５）及び第８の課程（Ｐ２０８）で求めた各変換マトリクス、スケールマトリクス及び移動マトリクスを歪パラメータとして記憶装置２０１０に格納する（図２０のＰ２０９）。
上記説明（ｃ）〜（ｉ）においては、上記記述による他、複数スクリーンにおいて説明した（［１］歪みパラメータの生成）と同様に行う。
（［２−２］映像発生）
上記構成による偏光型立体視の映像発生を説明する。
（ａ）例えば左目用のコンピュータ２００３１の左目用画像読み出し手段２０１２１は、その３次元グラフィックス生成手段２０１７１を用いてレンダリング（画像生成）された結果が格納されている第１のフレームメモリ２０１５１の内容を読む（図２１のＳ２０１）。図１６（ａ）のように歪がない映像が第１のフレームメモリ２０１５１に格納されている。
（ｂ）左目用のコンピュータ２００３１の左目用の仮想面回転手段２０１３１は前記読み出した画像をテクスチャマッピングする左目用の仮想面を上記（［２−１］歪みパラメータの生成）において生成した左目用の歪みパラメータ［Ｈｉ ｔｏｔａｌ］−１を用いて回転させる（図２１のＳ２０２）。図１６（ｂ）参照。
（ｃ）左目用画像貼り付け手段２０１４１は、前記第２の課程（Ｓ２０２）により回転させた仮想面に前記第１の課程（Ｓ２０１）において読み出した画像をテクスチャパターンとして貼り付ける（図２１のＳ２０３）。このとき、映像発生の投影法を平行投影とする。貼り付けることにより逆歪がかけられることになる。
（ｄ）逆歪をかけた映像すなわち前記第３の課程（Ｓ２０３）により仮想面（テクスチャマッピング面）に貼り付けた映像を第２のフレームメモリ２０１６１に格納する（図２１のＳ２０４）。
（ｅ）第２のフレームメモリ２０１６１の内容が、左目用プロジェクタ２００２１を経由してスクリーン２００１に投影される（図２１のＳ２０５）。このとき、映像の歪が補正されている。
（ｆ）例えば右目用のコンピュータ２００３２の右目用画像読み出し手段２０１２２は、その３次元グラフィックス生成手段２０１７２を用いてレンダリング（画像生成）された結果が格納されている第１のフレームメモリ２０１５２の内容を読む（図２１のＳ２０６）。図１６（ａ）のように歪がない映像が第１のフレームメモリ２０１５２に格納されている。
（ｇ）右目用のコンピュータ２００３２の右目用の仮想面回転手段２０１３２は前記読み出した画像をテクスチャマッピングする右目用の仮想面を上記（［２−１］歪みパラメータの生成）において生成した右目用の歪みパラメータ［Ｈｉ ｔｏｔａｌ］−１を用いて回転させる（図２１のＳ２０７）。図１６（ｂ）参照。
（ｈ）右目用画像貼り付け手段２０１４２は、前記第７の課程（Ｓ２０７）により回転させた仮想面に前記第６の課程（Ｓ２０６）において読み出した画像をテクスチャパターンとして貼り付ける（図２１のＳ２０８）。このとき、映像発生の投影法を平行投影とする。貼り付けることにより逆歪がかけられることになる。
（ｉ）逆歪をかけた映像すなわち前記第６の課程（Ｓ２０６）により仮想面（テクスチャマッピング面）に貼り付けた映像を第２のフレームメモリ２０１６２に格納する（図２１のＳ２０９）。
（ｊ）第２のフレームメモリ２０１６２の内容が、右目用プロジェクタ２００２１を経由してスクリーン２００１に投影される（図２１のＳ２１０）。このとき、映像の歪が補正されている。
（その他）
上記説明では、デジタルカメラ２００４は右目用のコンピュータ２００３２に接続している場合を示したが、左目用のコンピュータ２００３１に同様の機能を持たせて接続しても良く、また左右用のコンピュータ２００３１，２００３２とは別に、ホスト用のコンピュータを用意し、実施例１と同様に独立に機能させても良い。
（［３−１］複数スクリーンへの立体視に係る歪みパラメータの生成）
上記例では、複数スクリーンの場合と、単独スクリーンに偏光型立体視への応用の場合を説明したが、偏光型立体視について（［２−１］歪みパラメータの生成）の技術と、複数スクリーンの（［１−１］歪みパラメータの生成）の技術とを、各スクリーンに応用することにより、スクリーン毎に左右目用の歪みパラメータを得ることができる。複数スクリーンと、各スクリーンに左右目用のプロジェクタと、デジタルカメラと、記憶装置を備えて、上述した（［２−１］歪みパラメータの生成）の課程を（［１−１］歪みパラメータの生成）で説明したように各スクリーンについて行うことにより実現する。
（［３−２］複数スクリーンへの立体視に係る映像発生）
上記（［３−１］複数スクリーンへの立体視に係る歪みパラメータの生成）で生成したパラメータを用いて各スクリーンへ左右目用の映像を発生させることにより複合スクリーンに立体視映像を投影することができる。
上記実施例１及び実施例３において説明した複数スクリーン毎に映像を表示する場合、スクリーンに投影する隣接するプロジェクタをオーバーラップして配置し、その映像が、図２３のように、オーパラップ領域（隣接する部分）が重なるように表示させ、重なる部分の映像の色を、プロジェクタＡの色を《ＣＡ》、プロジェクタＢの色を《ＣＢ》とし、
《Ｃ》＝《ＣＡ》α（ｘ，ｙ）＋（１−α（ｘ，ｙ））《ＣＢ》
なるように、プロジェクタ特性の変化をなだらかに行い、色混合を行なう。例えば、図１９に示す波線上の帯内１９１〜１９７の部分で色混合が行われる。
歪みパラメータの生成方法及び映像発生方法の一実施例を説明するフロー図である。 歪みパラメータの生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。 従来の映像発生を説明する図である。 空間的位置関係を求める原理図 変換マトリクスの求め方の説明図である。 変換マトリクスの求め方の説明図である。 テストパターンの説明図である。 テストパターンのコーナー探索領域の説明図である。 テストパターンのコーナー探索の説明図である。 テストパターンのコーナー探索領域の説明図である。 テストパターンのコーナー探索の説明図である。 プロジェクタの複数スクリーンの関係を求める処理の説明図である。 スクリーンと表示映像の合致の説明図である。 スケールの計算を説明する図である。 スケールの計算を説明する図である。 レンダリングの説明図である。 複数コンピュータによる画像生成の説明図である。 スクリーンに複数プロジェクタの画像を投影する例の説明図である。 複数プロジェクタの画像を投影したスクリーンを複数有する場合の表示例の説明図である。 歪みパラメータの生成方法の一実施例を説明するフロー図である。 映像発生方法の一実施例を説明するフロー図である。 歪みパラメータの生成装置及び映像発生装置の一実施例を説明する機能ブロック図である。 プロジェクタのオーパラップ領域の表示を説明する図である。
符号の説明
１０１ｉ…スクリーン、１０２ｉ…プロジェクタ、１０３ｉ…コンピュータ、１０４…デジタルカメラ、１０５…コンピュータ、１０６…位置検出手段、１０７…マトリクス計算手段、１１７ｉ…３次元グラフィックス生成手段、１１０…記憶装置、１１２ｉ…画像読み出し手段、１１３ｉ…仮想面回転手段、１１４ｉ…画像貼り付け手段、１１５ｉ…第１のフレームメモリ、１１６ｉ…第２のフレームメモリ。

Claims (14)

  1. 複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる複数ｐのプロジェクタと、前記複数ｐのプロジェクタ毎に対応して備えられる複数ｍのコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有し、
    前記プロジェクタに対応したコンピュータｉにより作成されたコントラストが強い２種類の矩形を縦横に並べたテストパターンを当該プロジェクタに対応するスクリーンに投影する第１の課程と、
    前記テストパターンが投影されている前記スクリーンを、視点となる位置に配置された前記デジタルカメラにより撮像する第２の課程と、
    前記撮像した画像から、スクリーンを構成する頂点とテストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーとを画像認識により検出し、その位置を、デジタルカメラを接続した前記コンピュータにより求める第３の課程と、
    前記第３の課程で求めた前記頂点と前記コーナーとにより変換マトリクス、スケールマトリクス及び移動マトリクスをデジタルカメラを接続した前記コンピュータにより求める第４の課程と、
    第１の課程から第４の課程を、前記複数ｎ回繰り返した後、前記第４の課程で求めた各変換マトリクス、スケールマトリクス及び移動マトリクスを歪パラメータとして記憶装置に格納する第５の課程と
    からなることを特徴とする歪みパラメータの生成方法。
  2. 複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる複数ｐのプロジェクタと、前記複数ｐのプロジェクタ毎に対応して備えられる複数ｍのコンピュータとを有し、
    複数ｍの各々のコンピュータの処理において、
    コンピュータにより生成された画像が格納されているフレームメモリから画像を読み出す第１の課程と、
    前記読み出した画像をテクスチャマッピングする仮想面を請求項１において生成した歪みパラメータを用いて回転させる第２の課程と、
    前記回転させた仮想面に前記読み出した画像をテクスチャパターンとして貼り付ける第３の課程と、
    前記回転させた仮想面に貼り付けた映像をフレームメモリに格納する第４の課程と、
    前記第４の課程で格納したフレームメモリ内の映像を当該コンピュータに対応するプロジェクタにより対応するスクリーンへ投影する第５の課程と
    からなることを特徴とする映像発生方法。
  3. 複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる複数ｐのプロジェクタと、前記複数ｐのプロジェクタ毎に対応して備えられる複数ｍのコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有する歪みパラメータ生成装置であって、
    コントラストが強い２種類の矩形を縦横に並べたテストパターンを対応するスクリーン毎に投影する前記複数のプロジェクタと、
    視点となる位置に配置され、前記スクリーンに投影されている前記テストパターンを撮像するデジタルカメラと、
    前記デジタルカメラを接続したコンピュータにより構成され、前記撮像した画像から、各スクリーンを構成する頂点とテストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーとを画像認識により検出し、その位置を求める位置検出手段と、前記位置検出手段で求めた各スクリーン毎の前記頂点と前記コーナーとにより各スクリーンに係る変換マトリクス、スケールマトリクス及び移動マトリクスを前記デジタルカメラを接続したコンピュータにより求めるマトリクス計算手段と、
    前記マトリクス計算手段により求めた各変換マトリクス、スケールマトリクス及び移動マトリクスを歪パラメータとして格納する記憶装置とを備えたことを特徴とする歪みパラメータ生成装置。
  4. 複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる複数ｐのプロジェクタと、前記複数ｐのプロジェクタ毎に対応して備えられる複数ｍのコンピュータとを有し、
    前記複数ｍのコンピュータの各々において、
    生成した画像が格納されているフレームメモリから画像を読み出す画像読み出し手段と、
    前記読み出した画像をテクスチャマッピングする仮想面を請求項３において生成した歪みパラメータを用いて回転させる仮想面回転手段と、
    前記回転させた仮想面に前記読み出した画像をテクスチャパターンとして貼り付ける画像貼り付け手段と、
    前記回転させた仮想面に貼り付けた映像を格納するフレームメモリと、
    前記格納したフレームメモリ内の映像を当該コンピュータに対応するスクリーンへ投影するプロジェクタと
    からなることを特徴とする映像発生装置。
  5. スクリーンを備える投影空間において、左目用プロジェクタと、右目用プロジェクタと、前記左目用プロジェクタと右目用プロジェクタとの各々に対応して備えられる左目用、右目用のコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有し、
    前記スクリーンを前記デジタルカメラで撮像する第１の課程と、
    前記撮像したスクリーンを構成する頂点を画像認識により検出し、その位置を前記デジタルカメラを接続した前記コンピュータにより求める第２の課程と、
    前記左目用又は右目用のコンピュータにより作成されたコントラストが強い２種類の矩形を縦横に並べたテストパターンをスクリーンに左又は右目用のいずれか１つのプロジェクタにより投影する第３の課程と、
    前記撮像した画像から、テストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーを画像認識により検出し、その位置を、前記デジタルカメラを接続した前記コンピュータにより求める第４の課程と、
    前記第２の課程で求めた前記頂点と前記第４の課程で求めた前記コーナーとにより左又は右目用のいずれか一方の変換マトリクス、スケールマトリクス及び移動マトリクスを前記デジタルカメラを接続した前記コンピュータにより求める第５の課程と、
    コンピュータにより作成されコントラストが強い２種類の矩形を縦横に並べたテストパターンをスクリーンに前記第３の課程による左又は右目用のいずれか一方のプロジェクタ以外の他の目用の１つのプロジェクタにより投影する第６の課程と、
    前記撮像した画像から、テストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーを画像認識により検出し、その位置を、前記デジタルカメラを接続した前記コンピュータにより求める第７の課程と、
    前記第２の課程で求めた前記頂点と前記第７の課程で求めた前記コーナーとにより第５の課程による左又は右目用のいずれか一方以外の左又は右目用のいずれか他方の変換マトリクス、スケールマトリクス及び移動マトリクスを前記デジタルカメラを接続した前記コンピュータにより求める第８の課程と、
    前記第５の課程及び第８の課程で求めた各変換マトリクス、スケールマトリクス及び移動マトリクスを歪パラメータとして記憶装置に格納する第９の課程と
    からなることを特徴とする歪みパラメータの生成方法。
  6. スクリーンを備える投影空間において、左目用プロジェクタと、右目用プロジェクタと、前記左目用プロジェクタと右目用プロジェクタとの各々に対応して備えられるコンピュータとを有し、
    前記コンピュータの処理において、
    コンピュータにより生成された左目用又は右目用のいずれか一方の画像が格納されているフレームメモリから画像を読み出す第１の課程と、
    前記読み出した画像をテクスチャマッピングする左目用又は右目用のいずれか一方の仮想面を請求項５において生成した左目用又は右目用のいずれか一方の歪みパラメータを用いて回転させる第２の課程と、
    前記第２の課程により回転させた仮想面に前記読み出した画像をテクスチャパターンとして貼り付ける第３の課程と、
    前記第３の課程により仮想面に貼り付けた映像をフレームメモリに格納する第４の課程と、
    前記第４の課程で格納したフレームメモリ内の映像を左目用又は右目用のいずれか一方のプロジェクタによりスクリーンへ投影する第５の課程と、
    コンピュータにより生成され前記第１の課程により読み出される左又は右目用のいずれか一方の画像以外の他の目用の画像が格納されているフレームメモリから画像を読み出す第６の課程と、
    第２課程における左目用又は右目用のいずれか一方の仮想面以外の仮想面であって、前記読み出した画像をテクスチャマッピングする左目用又は右目用のいずれか一方の仮想面を、請求項５において生成した左目用又は右目用のいずれか一方の歪みパラメータであって、第２課程における左目用又は右目用のいずれか一方のパラメータ以外のパラメータを用いて回転させる第７の課程と、
    前記第７の課程により回転させた仮想面に前記第６の課程により読み出した画像をテクスチャパターンとして貼り付ける第８の課程と、
    前記第８の課程により仮想面に貼り付けた映像をフレームメモリに格納する第９の課程と、
    前記第９の課程で格納したフレームメモリ内の映像を、前記第５の課程による左目用又は右目用のいずれか一方のプロジェクタ以外の左目用又は右目用のいずれか一方のプロジェクタによりスクリーンへ投影する第１０の課程と、
    からなることを特徴とする映像発生方法。
  7. スクリーンを備える投影空間において、左目用プロジェクタと、右目用プロジェクタと、前記左目用プロジェクタと右目用プロジェクタとの各々に対応して備えられる左目用、右目用のコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有し、
    コントラストが強い２種類の矩形を縦横に並べたテストパターンを前記スクリーンに投影する左目用のプロジェクタと、
    コントラストが強い２種類の矩形を縦横に並べたテストパターンを前記スクリーンに投影する右目用のプロジェクタと、
    視点となる位置に配置され、前記スクリーンを撮像するとともに左目用のプロジェクタ及び右目用プロジェクタからスクリーンに投影されているそれぞれのテストパターンを撮像する前記デジタルカメラと、
    前記デジタルカメラを接続したコンピュータにより構成され、前記デジタルカメラで撮像したスクリーンの画像から、前記スクリーンを構成する頂点を画像認識により検出し、その位置を求めるとともに、左目用のプロジェクタ及び右目用のプロジェクタからのそれぞれのテストパターンをデジタルカメラで撮像した画像から、テストパターンの前記矩形部分の４個が隣接する部分が構成するコーナーを画像認識により検出し、その位置を求める位置検出手段と、前記位置検出手段で求めた前記頂点と左右目用のプロジェクタの各々が投影した前記コーナーとにより左右目用の各々の変換マトリクス、スケールマトリクス及び移動マトリクスを前記コンピュータにより求めるマトリクス計算手段と、
    前記マトリクス計算手段により求めた左右目用の各々の変換マトリクス、スケールマトリクス及び移動マトリクスを左右目用の各々の歪パラメータとして格納する記憶装置とを備えたことを特徴とする歪みパラメータ生成装置。
  8. スクリーンを備える投影空間において、左目用プロジェクタと、右目用プロジェクタと、前記左目用プロジェクタと右目用プロジェクタとの各々に対応して備えられる左目用及び右目用のコンピュータとを有し、
    前記コンピュータにおいて、
    左目用の画像が格納されているフレームメモリから画像を読み出す左目用画像読み出し手段と、
    右目用の画像が格納されているフレームメモリから画像を読み出す右目用画像読み出し手段と、
    前記左目用画像読み出し手段により読み出した画像をテクスチャマッピングする仮想面を請求項７において生成した左目用の歪みパラメータを用いて回転させる左目用の仮想面回転手段と、
    前記右目用画像読み出し手段により読み出した画像をテクスチャマッピングする仮想面を請求項７において生成した右目用の歪みパラメータを用いて回転させる右目用の仮想面回転手段と、
    前記左目用の仮想面回転手段により回転させた仮想面に前記左目用画像読み出し手段により読み出した画像をテクスチャパターンとして貼り付ける左目用画像貼り付け手段と、
    前記右目用の仮想面回転手段により回転させた仮想面に前記右目用画像読み出し手段により読み出した画像をテクスチャパターンとして貼り付ける右目用画像貼り付け手段と、
    前記左目用画像貼り付け手段により仮想面に貼り付けた映像を格納する左目用フレームメモリと、
    前記右目用画像貼り付け手段により仮想面に貼り付けた映像を格納する右目用フレームメモリと、
    前記格納した左目用フレームメモリ内の映像をスクリーンへ投影する左目用プロジェクタと、
    前記格納した右目用フレームメモリ内の映像をスクリーンへ投影する右目用プロジェクタと
    からなることを特徴とする映像発生装置。
  9. 複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる左右目用の２台複数ｐ／２組のプロジェクタと、前記左右目用の２台複数ｐ／２組のプロジェクタ毎に対応して備えられる左右目用の複数m組のコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有したことを特徴とする請求項５に記載の歪みパラメータの生成方法。
  10. 複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる左右目用の２台複数ｐ／２組のプロジェクタと、前記左右目用の２台複数ｐ／２組のプロジェクタ毎に対応して備えられる左右目用の複数m組のコンピュータとを有したことを特徴とする請求項６に記載の映像発生方法。
  11. 複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる左右目用の２台複数ｐ／２組のプロジェクタと、前記左右目用の２台複数ｐ／２組のプロジェクタ毎に対応して備えられる左右目用の複数m組のコンピュータと、コンピュータに接続されるデジタルカメラと、記憶装置とを有したことを特徴とする請求項７に記載の歪みパラメータの生成装置。
  12. 複数ｎのスクリーンを組み合わせて構成する投影空間において、前記複数ｎのスクリーン毎に対応して備えられる左右目用の２台複数ｐ／２組のプロジェクタと、前記左右目用の２台複数ｐ／２組のプロジェクタ毎に対応して備えられる左右目用の複数m組のコンピュータとを有したことを特徴とする請求項８に記載の映像発生装置。
  13. スクリーンに投影する各プロジェクタの隣り合う映像を一部領域を重ね合わせるようにしたことを特徴とする請求項２、請求項６又は請求項１０のいずれか１に記載の映像発生方法。
  14. スクリーンに投影する各プロジェクタの隣り合う映像を一部領域を重ね合わせるようにしたことを特徴とする請求項４、請求項８又は請求項１２のいずれか１に記載の映像発生装置。


JP2004040361A 2004-02-17 2004-02-17 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置 Expired - Fee Related JP4554231B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004040361A JP4554231B2 (ja) 2004-02-17 2004-02-17 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004040361A JP4554231B2 (ja) 2004-02-17 2004-02-17 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置

Publications (2)

Publication Number Publication Date
JP2005234698A true JP2005234698A (ja) 2005-09-02
JP4554231B2 JP4554231B2 (ja) 2010-09-29

Family

ID=35017614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004040361A Expired - Fee Related JP4554231B2 (ja) 2004-02-17 2004-02-17 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置

Country Status (1)

Country Link
JP (1) JP4554231B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010288062A (ja) * 2009-06-11 2010-12-24 Seiko Epson Corp プロジェクター、プログラム、情報記憶媒体および画像投写方法
JP2012022246A (ja) * 2010-07-16 2012-02-02 Sanyo Electric Co Ltd 投写型映像表示装置
KR101166719B1 (ko) 2008-12-22 2012-07-19 한국전자통신연구원 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법
JP2013255260A (ja) * 2013-07-30 2013-12-19 Sanyo Electric Co Ltd 投写型映像表示装置
KR20140116880A (ko) * 2012-01-03 2014-10-06 량 콩 3 차원 디스플레이 시스템
JP2015060012A (ja) * 2013-09-17 2015-03-30 株式会社リコー 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
CN109697747A (zh) * 2018-12-24 2019-04-30 大陆汽车车身电子系统（芜湖）有限公司 矩形翻转动画生成方法及装置
WO2019163385A1 (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2019203002A1 (ja) * 2018-04-17 2019-10-24 ソニー株式会社 情報処理装置および方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948316B2 (en) 2020-03-11 2024-04-02 Samsung Electronics Co., Ltd. Camera module, imaging device, and image processing method using fixed geometric characteristics

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP2001339742A (ja) * 2000-03-21 2001-12-07 Olympus Optical Co Ltd 立体映像プロジェクション装置、及びその補正量演算装置
JP2003036142A (ja) * 2001-07-24 2003-02-07 Hitachi Ltd プレゼンテーションシステム、およびプレゼンテーション方法
JP2003348500A (ja) * 2002-03-19 2003-12-05 Fuji Photo Film Co Ltd 投射画像の調整方法、画像投射方法および投射装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339742A (ja) * 2000-03-21 2001-12-07 Olympus Optical Co Ltd 立体映像プロジェクション装置、及びその補正量演算装置
JP2001320652A (ja) * 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP2003036142A (ja) * 2001-07-24 2003-02-07 Hitachi Ltd プレゼンテーションシステム、およびプレゼンテーション方法
JP2003348500A (ja) * 2002-03-19 2003-12-05 Fuji Photo Film Co Ltd 投射画像の調整方法、画像投射方法および投射装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401277B2 (en) 2008-12-22 2013-03-19 Electronics And Telecommunications Research Institute Method for restoration of building structure using infinity homographies calculated based on parallelograms
KR101166719B1 (ko) 2008-12-22 2012-07-19 한국전자통신연구원 평행사변형 기반의 무한 호모그래피 산출 방법과 이를 이용한 건물 구조 복원 방법
JP2010288062A (ja) * 2009-06-11 2010-12-24 Seiko Epson Corp プロジェクター、プログラム、情報記憶媒体および画像投写方法
US8884979B2 (en) 2010-07-16 2014-11-11 Sanyo Electric Co., Ltd. Projection display apparatus
JP2012022246A (ja) * 2010-07-16 2012-02-02 Sanyo Electric Co Ltd 投写型映像表示装置
KR20140116880A (ko) * 2012-01-03 2014-10-06 량 콩 3 차원 디스플레이 시스템
JP2015513232A (ja) * 2012-01-03 2015-04-30 コン, リャンKONG, Liang ３次元ディスプレイシステム
KR102045586B1 (ko) * 2012-01-03 2019-11-15 량 콩 3 차원 디스플레이 시스템
JP2013255260A (ja) * 2013-07-30 2013-12-19 Sanyo Electric Co Ltd 投写型映像表示装置
JP2015060012A (ja) * 2013-09-17 2015-03-30 株式会社リコー 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
WO2019163385A1 (ja) * 2018-02-20 2019-08-29 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2019203002A1 (ja) * 2018-04-17 2019-10-24 ソニー株式会社 情報処理装置および方法
US11240475B2 (en) 2018-04-17 2022-02-01 Sony Corporation Information processing apparatus and method
CN109697747A (zh) * 2018-12-24 2019-04-30 大陆汽车车身电子系统（芜湖）有限公司 矩形翻转动画生成方法及装置
CN109697747B (zh) * 2018-12-24 2023-08-08 大陆汽车车身电子系统（芜湖）有限公司 矩形翻转动画生成方法及装置

Also Published As

Publication number Publication date
JP4554231B2 (ja) 2010-09-29

Similar Documents

Publication Publication Date Title
CN110111262B (zh) 一种投影仪投影畸变校正方法、装置和投影仪
CN106846409B (zh) 鱼眼相机的标定方法及装置
CN110336987A (zh) 一种投影仪畸变校正方法、装置和投影仪
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN105488775A (zh) 一种基于六摄像机环视的柱面全景生成装置及方法
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
CN108122191A (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CA2464569A1 (en) Single or multi-projector for arbitrary surfaces without calibration nor reconstruction
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
US10783607B2 (en) Method of acquiring optimized spherical image using multiple cameras
JP4965967B2 (ja) 映像表示システムの調整システム
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
Lo et al. Image stitching for dual fisheye cameras
Sajadi et al. Scalable Multi‐view Registration for Multi‐Projector Displays on Vertically Extruded Surfaces
Wang et al. Depth from semi-calibrated stereo and defocus
CN114697623A (zh) 投影面选取和投影图像校正方法、装置、投影仪及介质
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
US20090195758A1 (en) Meshes for separately mapping color bands
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
JP4354708B2 (ja) 多視点カメラシステム
CN108269288B (zh) 智能异形投影非接触式交互系统和方法
CN117522963A (zh) 棋盘格的角点定位方法、装置、存储介质及电子设备
CN116524022A (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
Askarian Bajestani et al. Scalable and view-independent calibration of multi-projector display for arbitrary uneven surfaces
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100416

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100714

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4554231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees