JP2006323139A

JP2006323139A - プロジェクタ・カメラサーバ、及び画像投影方法

Info

Publication number: JP2006323139A
Application number: JP2005146444A
Authority: JP
Inventors: Kensaku Fujii; 憲作藤井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-05-19
Filing date: 2005-05-19
Publication date: 2006-11-30

Abstract

【課題】投影される対象物が有する形状及び色に影響されず、所望の形状及び色を有する画像を投影するプロジェクタ・カメラサーバ技術を提供する。
【解決手段】操作クライアント２０から受信した投影情報からプロジェクション画像を作成してプロジェクタシステム３０に投影させるプロジェクタ・カメラサーバ１０であって、プロジェクタシステム３０と対象物に投影した画像を撮影するカメラシステム４０との間の対応する画素位置を記述するマッピングテーブルを生成する幾何的キャリブレーション部１２、対象物に対して所望の色を投影するための画素値の変換行列を記述する画像変換マトリクスを算出する光学的キャリブレーション部１３、及び、マッピングテーブル及び画像変換マトリクスを用いて投影情報からプロジェクション画像を作成し、これを前記プロジェクタシステム３０に投影させる表示制御部１４、を有する。
【選択図】図１

Description

本発明は、ネットワークで接続されたクライアントから制御可能なプロジェクタ・カメラサーバに関する。

ユビキタスという言葉が一般に利用されているように、日常生活のさまざまな場面においてコンピュータが利用できる環境が整いつつある。このようなコンピュータが遍在しユーザの実世界の作業を支援するような環境を構築するために、実世界中のさまざまな場所に情報を表示する投影プロジェクション技術が求められている。

このような事情に鑑み、投影される対象物が有する色情報に関係なく所望の色を投影することが可能なプロジェクション技術が発明されている(例えば、非特許文献１参照。)。

この技術によれば、投影される対象物に対して、色補正に関するキャリブレーションを行い、そのキャリブレーション情報を利用して投影画像の補償を行うことができるとしている。

しかしながら、上記従来技術では、対象物の移動、又は、他のプロジェクタによる投影などが行われて、初期のキャリブレーションされた状態から環境が異なった場合には、投影画像の補償を行うことはできない。
吉田壮伸、堀井千夏、佐藤宏介、「複合現実感のための反射色計測に基づくプロジェクタ投影テクスチャ」、日本バーチャルリアリティ学会論文誌Ｖｏｌ．９，Ｎｏ１，ｐｐ．９７−１０４（２００４）

本発明は、投影される対象物が有する形状及び色に影響されず、所望の形状及び色を有する画像を投影するプロジェクタ・カメラサーバ技術を提供する。

また、投影された画像が所望の形状及び色を有する画像で無い場合には、これを補正するプロジェクタ・カメラサーバ技術を提供する。

そこで、上記課題を解決するために、請求項１に記載の発明は、操作クライアントから受信した投影情報からプロジェクション画像を作成し、当該プロジェクション画像をプロジェクタ手段に投影させるプロジェクタ・カメラサーバであって、前記プロジェクタ手段と当該プロジェクタ手段が対象物に投影した画像を撮影するカメラ手段との間の対応する画素位置を記述するマッピングテーブルを生成する幾何的キャリブレーション部と、前記対象物に対して所望の色を投影するための画素値の変換行列を記述する画像変換マトリクスを算出する光学的キャリブレーション部と、前記マッピングテーブル及び前記画像変換マトリクスを用いて前記投影情報からプロジェクション画像を作成し、当該プロジェクション画像を前記プロジェクタ手段に投影させる表示制御部と、を有することを特徴とする。

また、請求項２に記載の発明は、前記幾何的キャリブレーション部は、前記プロジェクタ手段を制御して前記対象物にキャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影されたキャリブレーション画像を撮影することでキャプチャ画像を生成し、前記キャリブレーション画像と前記キャプチャ画像との対応点を取得し、前記取得した対応点群から前記プロジェクタ手段の画素位置に対応するカメラ手段の画素位置を探索して前記マッピングテーブルを生成する、ことを特徴とする。

また、請求項３に記載の発明は、前記光学的キャリブレーション部は、前記プロジェクタ手段を制御して前記対象物に赤キャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影された赤キャリブレーション画像を撮影することで赤キャプチャ画像を生成し、前記プロジェクタ手段を制御して前記対象物に青キャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影された青キャリブレーション画像を撮影することで青キャプチャ画像を生成し、前記プロジェクタ手段を制御して前記対象物に緑キャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影された緑キャリブレーション画像を撮影することで緑キャプチャ画像を生成し、前記プロジェクタ手段を制御して前記対象物に黒キャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影された黒キャリブレーション画像を撮影することで緑キャプチャ画像を生成し、前記幾何的キャリブレーション部にて生成されたマッピングテーブルを読み込み、前記撮影された４種類のキャプチャ画像及び前記読み込んだマッピングテーブルから前記画像変換マトリクスを算出する、ことを有することを特徴とする。

また、請求項４に記載の発明は、前記表示制御部は、前記プロジェクタ手段が前記対象物に投影したプロジェクション画像を前記カメラ手段により撮影させることでキャプチャ画像を生成し、前記キャプチャ画像と前記投影情報とに差異がある場合には前記画像変換マトリクスを補正して補正プロジェクション画像を生成し、前記補正プロジェクション画像を前記プロジェクタ手段により投影させる、ことを特徴とする。

また、請求項５に記載の発明は、前記表示制御部は、前記幾何的キャリブレーション部で生成された前記マッピングテーブルを読み込み、前記光学的キャリブレーション部で生成された前記画像変換マトリクスを読み込み、前記操作クライアントから受信した投影情報を受信し、前記マッピングテーブル、及び前記画像変換マトリクスを用いて、前記投影情報からプロジェクション画像を生成し、前記プロジェクタ手段を制御して前記対象物に前記プロジェクション画像を投影させ、前記カメラ手段を制御して前記対象物に投影された前記プロジェクション画像を撮影することでキャプチャ画像を生成し、前記キャプチャ画像と前記投影情報との差異を検出し、差異が検出された場合には、前記キャプチャ画像、及び前記プロジェクション画像から画像変換マトリクスを補正し、前記補正された画像変換マトリクス、及び前記マッピングテーブルを用いて前記投影情報から補正プロジェクション画像を生成し、前記プロジェクタ手段を制御して前記対象物に前記補正プロジェクション画像を投影させる、ことを特徴とする。

また、請求項６に記載の発明は、操作クライアントから受信した投影情報からプロジェクション画像を作成し、当該プロジェクション画像をプロジェクタ手段に投影させるプロジェクタ・カメラサーバにおける画像投影方法であって、幾何的キャリブレーション部が前記プロジェクタ手段と当該プロジェクタ手段が対象物に投影した画像を撮影するカメラ手段との間の対応する画素位置を記述するマッピングテーブルを生成する幾何的キャリブレーションステップと、光学的キャリブレーション部が前記対象物に対して所望の色を投影するための画素値の変換行列を記述する画像変換マトリクスを算出する光学的キャリブレーションステップと、表示制御部が前記マッピングテーブル及び前記画像変換マトリクスを用いて前記投影情報からプロジェクション画像を作成し、当該プロジェクション画像を前記プロジェクタ手段に投影させる表示制御ステップと、を有することを特徴とする。

また、請求項７に記載の発明は、前記幾何的キャリブレーションステップでは、前記プロジェクタ手段を制御して前記対象物にキャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影されたキャリブレーション画像を撮影することでキャプチャ画像を生成し、前記キャリブレーション画像と前記キャプチャ画像との対応点を取得し、前記取得した対応点群から前記プロジェクタ手段の画素位置に対応するカメラ手段の画素位置を探索して前記マッピングテーブルを生成する、ことを特徴とする。

また、請求項８に記載の発明は、前記光学的キャリブレーションステップでは、前記プロジェクタ手段を制御して前記対象物に赤キャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影された赤キャリブレーション画像を撮影することで赤キャプチャ画像を生成し、前記プロジェクタ手段を制御して前記対象物に青キャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影された青キャリブレーション画像を撮影することで青キャプチャ画像を生成し、前記プロジェクタ手段を制御して前記対象物に緑キャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影された緑キャリブレーション画像を撮影することで緑キャプチャ画像を生成し、前記プロジェクタ手段を制御して前記対象物に黒キャリブレーション画像を投影し、前記カメラ手段を制御して前記対象物に投影された黒キャリブレーション画像を撮影することで緑キャプチャ画像を生成し、前記幾何的キャリブレーション部にて生成されたマッピングテーブルを読み込み、前記撮影された４種類のキャプチャ画像及び前記読み込んだマッピングテーブルから前記画像変換マトリクスを算出する、ことを有することを特徴とする。

また、請求項９に記載の発明は、前記表示制御ステップでは、前記プロジェクタ手段が前記対象物に投影したプロジェクション画像を前記カメラ手段により撮影させることでキャプチャ画像を生成し、前記キャプチャ画像と前記投影情報とに差異がある場合には前記画像変換マトリクスを補正して補正プロジェクション画像を生成し、前記補正プロジェクション画像を前記プロジェクタ手段により投影させる、ことを特徴とする。

また、請求項１０に記載の発明は、前記表示制御ステップでは、前記幾何的キャリブレーション部で生成された前記マッピングテーブルを読み込み、前記光学的キャリブレーション部で生成された前記画像変換マトリクスを読み込み、前記操作クライアントから受信した投影情報を受信し、前記マッピングテーブル、及び前記画像変換マトリクスを用いて、前記投影情報からプロジェクション画像を生成し、前記プロジェクタ手段を制御して前記対象物に前記プロジェクション画像を投影させ、前記カメラ手段を制御して前記対象物に投影された前記プロジェクション画像を撮影することでキャプチャ画像を生成し、前記キャプチャ画像と前記投影情報との差異を検出し、差異が検出された場合には、前記キャプチャ画像、及び前記プロジェクション画像から画像変換マトリクスを補正し、前記補正された画像変換マトリクス、及び前記マッピングテーブルを用いて前記投影情報から補正プロジェクション画像を生成し、前記プロジェクタ手段を制御して前記対象物に前記補正プロジェクション画像を投影させる、ことを特徴とする。

請求項１〜１０に記載の発明では、マッピングテーブル及び画像変換マトリクスを用いて投影情報からプロジェクション画像を作成する。したがって凹凸のある対象物に対しても所望の画像を投影することができ、かつ、対象物の有する色にかかわらず所望の色を投影することが可能となる。

さらに請求項４、５、９及び１０に記載の発明では、投影されたプロジェクション画像をカメラ手段が撮影してキャプチャ画像を生成し、これが投影情報と異なっている場合には画像変換マトリクス補正を補正して補正プロジェクション画像を生成してこれを投影する。したがって投影されたプロジェクション画像が投影情報と異なっている場合にはこれを補正することが可能となる。

例えば、複数の操作クライアントから投影情報を受信して、複数のプロジェクタから対象物に投影が行われる場合には、第一のプロジェクション画像が投影されると対象物の色が変化するので、第二のプロジェクション画像が投影されてもこれは二つの画像が重畳されたものであり、所望の形状及び色を有する画像ではない。このような場合にも、第二のプロジェクション画像を補正して所望の形状及び色を有する画像を投影することが可能となる。

請求項１〜１０に記載の発明によれば、投影される対象物が有する形状及び色に影響されず、所望の形状及び色を有する画像を投影するプロジェクタ・カメラサーバ技術を提供できる。

さらに請求項４、５、９及び１０に記載の発明によれば、投影された画像が所望の形状及び色を有する画像で無い場合には、これを補正するプロジェクタ・カメラサーバ技術を提供できる。

以下、実施形態について図面を参照しながら詳細に説明する。

図１は、プロジェクタ・カメラシステムの機能ブロック図である。図１に示すように、本システムは、ネットワークを有して接続されるプロジェクタ・カメラサーバ１０、複数の操作クライアント２０−１〜２０−Ｎ、並びにプロジェクタシステム３０−１〜３０−Ｌ、及びカメラシステム４０−１〜４０−Ｌのハードウェアから構成される。これらはネットワークで物理的に接続されている。なお、以下の説明では、プロジェクタ・カメラサーバ１０と操作クライアント２０とを接続するネットワークがインターネットであるものとして説明を行う。

操作クライアント２０は入出力制御部２１、及び入出力装置２２を有している。入出力装置２２は、対象物に投影する情報に必要な入力を受け付ける。入出力装置２２としてはキーボード、マウス、ＣＲＴディスプレイなどを備えるパーソナルコンピュータのような情報処理機器を用いることができる。この場合、入出力制御部２１は、このような情報処理機器のメモリに格納されて実行されるプログラムにより実現することができる。

操作クライアント２０では入出力装置２２を介し、入出力制御部２１を用いて、対象物に投影する情報の入力を受け付け、生成された投影情報をプロジェクタ・カメラサーバ１０に転送する処理、及びプロジェクタ・カメラサーバ１０での投影情報の投影結果を受け付け、転送された投影結果を表示する処理が行われる。この投影情報は、プロジェクタシステムに３０おいて投影可能なラスター、及びベクターなどの画像情報である。

プロジェクタ・カメラサーバ１０は、システム制御部１１、幾何的キャリブレーション部１２、光学的キャリブレーション部１３、表示制御部１４、及びデータベース１５を有している。また、対象物に投影情報を投影するための複数のプロジェクタシステム３０−１〜３０−Ｌ、及び投影状態を観測するための複数のカメラシステム４０−１〜４０−Ｌに接続している。ここで利用されるプロジェクタシステム３０は、ＤＬＰを素子として用いたプロジェクタなどが利用可能である。また、ここで利用されるカメラシステム４０は、ＣＣＤを撮像素子として用いたカメラなどが利用可能である。

データベース１５には、操作クライアント２０によって生成された投影情報、及びこの投影情報の投影結果に関する情報が格納される。

システム制御部１１は、操作クライアント２０の指示に応答して制御されるプロジェクタシステム３０、カメラシステム４０、及び表示制御部１４を設定し、プロジェクタシステム３０、及びカメラシステム４０のキャリブレーションを行う幾何的キャリブレーション部１２、及び光学的キャリブレーション部１３、並びに表示制御部１４の起動を制御する機能を実現する。

幾何的キャリブレーション部１２は、プロジェクタシステム３０とカメラシステム４０との間の対応する画素位置を記述するマッピングテーブルを生成する機能を実現する。

光学的キャリブレーション部１３は、対象物に対して、所望の色を投影するための画素値の変換行列を記述する画像変換マトリクスを算出する機能を実現する。

表示制御部１４は、操作クライアント２０から転送された投影情報を投影し、投影情報の投影結果を操作クライアントへ転送する機能を実現する。

プロジェクタ・カメラサーバ１０は、パーソナルコンピュータ、ワークステーションなどの情報処理機器を用いればよい。データベース１５は、これら情報処理機器が有する、磁気ディスク装置、光ディスク装置などの記憶装置内に格納されることが可能である。また、上述した各処理部、すなわち、システム制御部１１、幾何的キャリブレーション部１２、光学的キャリブレーション部１３、及び表示制御部１４は、実際には、情報処理機器が有するメモリ内にプログラムの形で格納されて実行することが可能である。また、幾何的キャリブレーション部１２で作成したマッピングテーブル及びこのマッピングテーブルの作成に必要なデータを情報処理機器が有するバッファに蓄積すること、並びに光学的キャリブレーション部１３で作成した画像変換マトリクス及びこの画像変換マトリクスの作成に必要なデータを情報処理機器が有するバッファに蓄積することが可能である。

図２、図３、及び図４は、幾何的キャリブレーション部１２、光学的キャリブレーション部１３、及び表示制御部１４の各部の動作を示すフローチャートである。以下、各部の動作を図面を用いて詳細に説明する。

幾何的キャリブレーション部１２では、プロジェクタシステム３０とカメラシステム４０との間の対応する画素位置を記述するマッピングテーブルを生成することが行われる。この処理は図２に示す手順で以下のように行われる。

［ステップ１］対応するプロジェクタシステム３０を制御し、対象物にキャリブレーション画像を投影する。

［ステップ２］対応するカメラシステム４０を制御し、対象物にキャリブレーション画像が投影された状態を撮影し、キャプチャ画像を生成する。

［ステップ３］投影されたキャリブレーション画像と撮影されたキャプチャ画像との対応点を取得する。

［ステップ４］取得された対応点群から、プロジェクタシステム３０の画素位置に対応するカメラシステム４０の画素位置を探索し、マッピングテーブルを生成する。

このとき、利用するキャリブレーション画像は、格子状など対応点の取得が容易になる模様の画像を利用することが可能である。この［ステップ３］における対応点の取得手法は、通常の画像処理で利用される従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。また、マッピングテーブルは、プロジェクタシステムの画素位置と、その位置に対応するカメラシステムの画素位置との対応関係を記述したテーブルである。

光学的キャリブレーション部１３では、対象物に対して、所望の色を投影するための画素値の変換行列を記述する画像変換マトリクスを算出することが行われる。この処理は図３に示す手順で以下のように行われる。

［ステップ１１］対応するプロジェクタシステム３０を制御し、赤キャリブレーション画像

を投影する。

［ステップ１２］対応するカメラシステム４０を制御し、赤キャリブレーション画像が投影された状態を撮影し、赤キャプチャ画像

を生成する。

［ステップ１３］対応するプロジェクタシステム３０を制御し、青キャリブレーション画像

を投影する。

［ステップ１４］対応するカメラシステム４０を制御し、青キャリブレーション画像が投影された状態を撮影し、青キャプチャ画像

を生成する。

［ステップ１５］対応するプロジェクタシステム３０を制御し、緑キャリブレーション画像

を投影する。

［ステップ１６］対応するカメラシステム４０を制御し、緑キャリブレーション画像が投影された状態を撮影し、緑キャプチャ画像

を生成する。

［ステップ１７］対応するプロジェクタシステム３０を制御し、黒キャリブレーション画像

を投影する。

［ステップ１８］対応するカメラシステム４０を制御し、黒キャリブレーション画像が投影された状態を撮影し、黒キャプチャ画像

を生成する。

［ステップ１９］幾何的キャリブレーション部１２にて生成されたマッピングテーブルを読み込む。

［ステップ２０］撮影された４枚のキャプチャ画像から、対応する画素位置の画像変換マトリクスを算出する。

ここで、［ステップ２０］における画像変換マトリクスＶ、Ｂ^〜を算出する式については、以下のようになる。

但し、△Ｃ_R＝Ｃ_R ⁽¹⁾_Ｃ_R ⁽⁰⁾，△Ｃ_G＝Ｃ_G ⁽²⁾_Ｃ_G ⁽⁰⁾，△Ｃ_B＝Ｃ_B ⁽³⁾_Ｃ_B ⁽⁰⁾であり、各画素位置の対応関係は、［ステップ１９］にて読み込まれたマッピングテーブルにより変換されることとする。

更に、表示制御部１４は、操作クライアントから転送された投影情報を投影し、投影情報の投影結果を操作クライアントへ転送することが行われる。この処理は図４に示す手順で以下のように行われる。

［ステップ３１］幾何的キャリブレーション部１２にて生成された、対応するマッピングテーブルを読み込む。

［ステップ３２］光学的キャリブレーション部１３にて生成された、対応する画像変換マトリクスＶ、Ｂ^〜を読み込む。

［ステップ３３］操作クライアント２０から転送された投影情報Ｃを受け付ける。

［ステップ３４］マッピングテーブル、及び画像変換マトリクスを利用して、投影情報からプロジェクション画像Ｐを生成する。

［ステップ３５］対応するプロジェクタシステム３０を制御し、対象物にプロジェクション画像を投影する。

［ステップ３６］対応するカメラシステム４０を制御し、対象物にプロジェクション画像が投影された状態を撮影し、キャプチャ画像Ｃ^-を生成する。

［ステップ３７］撮影されたキャプチャ画像Ｃ^-と投影情報Ｃとの差異を検出する。

［ステップ３８］差異が検出された場合には、［ステップ３９］〜［ステップ４２］までを行う。また、差異が検出されなかったときはＳ４３に移る。

［ステップ３９］キャプチャ画像、及びプロジェクション画像から画像変換マトリクスのＢ^〜を補正する。

［ステップ４０］補正された画像変換マトリクス、及びマッピングテーブルを利用して、投影情報から補正プロジェクション画像を生成する。

［ステップ４１］対応するプロジェクタシステム３０を制御し、対象物に補正プロジェクション画像を投影する。

［ステップ４２］対応するカメラシステム４０を制御し、対象物に補正プロジェクション画像が投影された状態を撮影し、キャプチャ画像を生成する。

［ステップ４３］撮影されたキャプチャ画像を、操作クライアント２０へ転送する。

［ステップ４４］操作クライアント２０から転送された投影情報、プロジェクション画像、補正プロジェクション画像、及びキャプチャ画像をデータベース１５へ格納する。

ここで、［ステップ３４］、及び［ステップ４０］において、投影情報Ｃからプロジェクション画像Ｐを生成する式については、以下のようになる。

このとき、各画素位置の対応関係は、［ステップ３１］にて読み込まれたマッピングテーブルにより変換されることとする。また、［ステップ３７］におけるキャプチャ画像Ｃ^-と投影情報Ｃの差異を検出する手法については、差分画像のノルムを算出するとしてよく、これらの算出手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。また、［ステップ３９］における画像変換マトリクスを補正する式については、以下のようになる。

以下では、これまで説明してきたプロジェクタ・カメラシステムにおいて、操作クライアント２０から転送された投影情報を投影する際の具体的な手順を説明する。

ここで、表示制御部１４において、撮影されたキャプチャ画像と投影されたプロジェクション画像との差異から、画像変換マトリクスを補正し、補正プロジェクション画像を生成する際の具体的な処理手順を述べる。

ここでは、説明のため、図５の５０１に示すような対象物に対して、２組のプロジェクタシステム・カメラシステムを２つの操作クライアント２０−１、２０−２で制御する場合であったとする。このとき、操作クライアント２０−１では５０２に示す投影情報を投影することにしたとする。この場合は、対象物に対して、５０３に示すような投影結果が得られることになる。

これに対して、操作クライアント２０−２では５０４に示す投影情報を投影する場合を考える。ここでは、５０３に示すような投影がなされているため、そのまま投影した場合には、５０５に示すような、２つの投影情報が重畳されたような投影結果が得られることになる。

この５０５では投影情報５０４との差異が検出されたとして、ここでは、このプロジェクション画像の補正処理が行われることになる。

ここで、上述したような式を用いてプロジェクション画像を補正することにより、５０６に示すような補正プロジェクション画像が得られることになる。続いて、この補正プロジェクション画像を投影したとすると、所望した投影情報５０４と同じ、５０７に示す投影結果が得られることになる。

以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施例に限定されるものではなく、幅広く応用することができる。

プロジェクタ・カメラシステムの機能ブロック図。幾何的キャリブレーション部の処理フロー図。光学的キャリブレーション部の処理フロー図。表示制御部の処理フロー図。プロジェクタ・カメラシステムの処理の具体例を示す図。

符号の説明

１０プロジェクタ・カメラサーバ
１１システム制御部
１２幾何的キャリブレーション部
１３光学的キャリブレーション部
１４表示制御部
１５データベース
２０操作クライアント
２１入出力制御部
２２入出力装置
３０プロジェクタシステム
４０カメラシステム

Claims

操作クライアントから受信した投影情報からプロジェクション画像を作成し、当該プロジェクション画像をプロジェクタ手段に投影させるプロジェクタ・カメラサーバであって、
前記プロジェクタ手段と当該プロジェクタ手段が対象物に投影した画像を撮影するカメラ手段との間の対応する画素位置を記述するマッピングテーブルを生成する幾何的キャリブレーション部と、
前記対象物に対して所望の色を投影するための画素値の変換行列を記述する画像変換マトリクスを算出する光学的キャリブレーション部と、
前記マッピングテーブル及び前記画像変換マトリクスを用いて前記投影情報からプロジェクション画像を作成し、当該プロジェクション画像を前記プロジェクタ手段に投影させる表示制御部と、を有することを特徴とするプロジェクタ・カメラサーバ。
前記幾何的キャリブレーション部は、
前記プロジェクタ手段を制御して前記対象物にキャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影されたキャリブレーション画像を撮影することでキャプチャ画像を生成し、
前記キャリブレーション画像と前記キャプチャ画像との対応点を取得し、
前記取得した対応点群から前記プロジェクタ手段の画素位置に対応するカメラ手段の画素位置を探索して前記マッピングテーブルを生成する、ことを特徴とする請求項１に記載のプロジェクタ・カメラサーバ。
前記光学的キャリブレーション部は、
前記プロジェクタ手段を制御して前記対象物に赤キャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影された赤キャリブレーション画像を撮影することで赤キャプチャ画像を生成し、
前記プロジェクタ手段を制御して前記対象物に青キャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影された青キャリブレーション画像を撮影することで青キャプチャ画像を生成し、
前記プロジェクタ手段を制御して前記対象物に緑キャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影された緑キャリブレーション画像を撮影することで緑キャプチャ画像を生成し、
前記プロジェクタ手段を制御して前記対象物に黒キャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影された黒キャリブレーション画像を撮影することで緑キャプチャ画像を生成し、
前記幾何的キャリブレーション部にて生成されたマッピングテーブルを読み込み、
前記撮影された４種類のキャプチャ画像及び前記読み込んだマッピングテーブルから前記画像変換マトリクスを算出する、ことを有することを特徴とする請求項１又は２に記載のプロジェクタ・カメラサーバ。
前記表示制御部は、
前記プロジェクタ手段が前記対象物に投影したプロジェクション画像を前記カメラ手段により撮影させることでキャプチャ画像を生成し、
前記キャプチャ画像と前記投影情報とに差異がある場合には前記画像変換マトリクスを補正して補正プロジェクション画像を生成し、
前記補正プロジェクション画像を前記プロジェクタ手段により投影させる、ことを特徴とする請求項１〜３に記載のプロジェクタ・カメラサーバ。
前記表示制御部は、
前記幾何的キャリブレーション部で生成された前記マッピングテーブルを読み込み、
前記光学的キャリブレーション部で生成された前記画像変換マトリクスを読み込み、
前記操作クライアントから受信した投影情報を受信し、
前記マッピングテーブル、及び前記画像変換マトリクスを用いて、前記投影情報からプロジェクション画像を生成し、
前記プロジェクタ手段を制御して前記対象物に前記プロジェクション画像を投影させ、
前記カメラ手段を制御して前記対象物に投影された前記プロジェクション画像を撮影することでキャプチャ画像を生成し、
前記キャプチャ画像と前記投影情報との差異を検出し、
差異が検出された場合には、前記キャプチャ画像、及び前記プロジェクション画像から画像変換マトリクスを補正し、
前記補正された画像変換マトリクス、及び前記マッピングテーブルを用いて前記投影情報から補正プロジェクション画像を生成し、
前記プロジェクタ手段を制御して前記対象物に前記補正プロジェクション画像を投影させる、ことを特徴とする請求項４に記載のプロジェクタ・カメラサーバ。
操作クライアントから受信した投影情報からプロジェクション画像を作成し、当該プロジェクション画像をプロジェクタ手段に投影させるプロジェクタ・カメラサーバにおける画像投影方法であって、
幾何的キャリブレーション部が前記プロジェクタ手段と当該プロジェクタ手段が対象物に投影した画像を撮影するカメラ手段との間の対応する画素位置を記述するマッピングテーブルを生成する幾何的キャリブレーションステップと、
光学的キャリブレーション部が前記対象物に対して所望の色を投影するための画素値の変換行列を記述する画像変換マトリクスを算出する光学的キャリブレーションステップと、
表示制御部が前記マッピングテーブル及び前記画像変換マトリクスを用いて前記投影情報からプロジェクション画像を作成し、当該プロジェクション画像を前記プロジェクタ手段に投影させる表示制御ステップと、を有することを特徴とする画像投影方法。
前記幾何的キャリブレーションステップでは、
前記プロジェクタ手段を制御して前記対象物にキャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影されたキャリブレーション画像を撮影することでキャプチャ画像を生成し、
前記キャリブレーション画像と前記キャプチャ画像との対応点を取得し、
前記取得した対応点群から前記プロジェクタ手段の画素位置に対応するカメラ手段の画素位置を探索して前記マッピングテーブルを生成する、ことを特徴とする請求項６に記載の画像投影方法。
前記光学的キャリブレーションステップでは、
前記プロジェクタ手段を制御して前記対象物に赤キャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影された赤キャリブレーション画像を撮影することで赤キャプチャ画像を生成し、
前記プロジェクタ手段を制御して前記対象物に青キャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影された青キャリブレーション画像を撮影することで青キャプチャ画像を生成し、
前記プロジェクタ手段を制御して前記対象物に緑キャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影された緑キャリブレーション画像を撮影することで緑キャプチャ画像を生成し、
前記プロジェクタ手段を制御して前記対象物に黒キャリブレーション画像を投影し、
前記カメラ手段を制御して前記対象物に投影された黒キャリブレーション画像を撮影することで緑キャプチャ画像を生成し、
前記幾何的キャリブレーション部にて生成されたマッピングテーブルを読み込み、
前記撮影された４種類のキャプチャ画像及び前記読み込んだマッピングテーブルから前記画像変換マトリクスを算出する、ことを有することを特徴とする請求項６又は７に記載の画像投影方法。
前記表示制御ステップでは、
前記プロジェクタ手段が前記対象物に投影したプロジェクション画像を前記カメラ手段により撮影させることでキャプチャ画像を生成し、
前記キャプチャ画像と前記投影情報とに差異がある場合には前記画像変換マトリクスを補正して補正プロジェクション画像を生成し、
前記補正プロジェクション画像を前記プロジェクタ手段により投影させる、ことを特徴とする請求項６〜８に記載の画像投影方法。
前記表示制御ステップでは、
前記幾何的キャリブレーション部で生成された前記マッピングテーブルを読み込み、
前記光学的キャリブレーション部で生成された前記画像変換マトリクスを読み込み、
前記操作クライアントから受信した投影情報を受信し、
前記マッピングテーブル、及び前記画像変換マトリクスを用いて、前記投影情報からプロジェクション画像を生成し、
前記プロジェクタ手段を制御して前記対象物に前記プロジェクション画像を投影させ、
前記カメラ手段を制御して前記対象物に投影された前記プロジェクション画像を撮影することでキャプチャ画像を生成し、
前記キャプチャ画像と前記投影情報との差異を検出し、
差異が検出された場合には、前記キャプチャ画像、及び前記プロジェクション画像から画像変換マトリクスを補正し、
前記補正された画像変換マトリクス、及び前記マッピングテーブルを用いて前記投影情報から補正プロジェクション画像を生成し、
前記プロジェクタ手段を制御して前記対象物に前記補正プロジェクション画像を投影させる、ことを特徴とする請求項９に記載の画像投影方法。