JP2013513332A - ３ｄディスプレイにおいてクロストークを補償する方法 - Google Patents

Abstract

プロセッサ及びシステムメモリを備えるコントローラと、少なくとも２つのチャネルとを有する３Ｄプロジェクタカメラシステムにおいてクロストークを補償する方法が、プロジェクタカメラシステムを較正するステップと、プロジェクタカメラシステムに適用可能なクロストーク係数を計算するステップと、計算されたクロストーク係数に基づいて、新たな画像データをクロストークに関して補正するステップとを含む。各チャネルの較正画像を、連続して投影しカメラを用いて捕捉することによってシステムを較正し、チャネル間のクロストークを捕捉する。コントローラは、捕捉された較正画像に基づいてクロストーク係数を計算することができる。
【選択図】図３

Description

偏光関連技術における近年の進歩の結果として、偏光に基づく３Ｄシステムが、動画のための最も一般的な３Ｄシステムに急速になりつつある。偏光３Ｄ投影の使用は、視聴者に偏光眼鏡を与えることがはるかに安価であることに大きく起因して、より普及している。３Ｄ偏光投影は、各眼に対し、偏光で構成される画像を（偏光保持スクリーンを介して）放出、透過、又は反射する二重相補偏光素子（dual complementary polarizing elements）を用いる。各眼に対する光は、視聴者の眼鏡において対応する相補的に偏光されたレンズを介して選択され、各眼に対し別個の画像を生成し、投影画像において立体視の効果、したがって奥行きの錯覚を与える。

３Ｄ偏光投影における１つの重大な課題は、画像チャネル間のクロストークである。すなわち、画像のうち、一方の眼に向けた部分が他方の眼にブリード又は漏出し、これによって画像品質が落ちる。３Ｄ偏光投影システムにおけるクロストークは一般に、偏光及び選択プロセスにおける不完全性に起因して生じる。

本開示の様々な特徴及び利点は、以下の詳細な説明を、添付の図面と併せて考慮した場合に、これらから明らかになるであろう。詳細な説明及び添付の図面はともに、本開示の特徴を例として示す。

水平方向に偏光されたサブフレームを投影する単一プロジェクタ偏光に基づく３Ｄディスプレイシステムを示す図である。 垂直方向に偏光されたサブフレームを投影する図１Ａの単一プロジェクタ偏光に基づく３Ｄディスプレイシステムを示す図である。 マルチプロジェクタ３Ｄディスプレイシステムの１つの実施形態のブロック図である。 本開示による、偏光に基づく３Ｄ投影システムにおけるクロストークを低減する方法の１つの実施形態におけるステップを概説するフローチャートである。 本開示による、偏光に基づく３Ｄ投影システムにおけるクロストークを低減する方法の別の実施形態におけるステップを概説するフローチャートである。

次に、図面に示す例示的な実施形態を参照する。本明細書において、例示的な実施形態を説明するのに特殊な言い回しが用いられる。それにもかかわらず、それによって本開示の範囲を限定することは意図されていないことが理解されよう。本開示を入手する関連技術における当業者が思いつく、本明細書において説明される特徴の代替形態及び更なる変更形態、並びに本明細書において説明される原理の追加の応用形態は、本開示の範囲内にあるとみなされる。

本明細書において用いられるとき、「上」、「下」、「前」、「後」、「先頭」、「末尾」等の方向を示す用語は、説明されている図面の向きを基準として用いられる。本明細書において開示される様々な実施形態の構成要素は、多数の異なる向きに位置決めすることができ、方向を示す用語は例示のためにのみ用いられ、限定することを意図するものではない。

本明細書において用いられるとき、用語「コンピュータ」は、処理ユニットと、システムメモリと、処理ユニットをコンピュータの様々な構成要素に結合するシステムバスとを備える、パーソナルコンピュータ、メインフレームコンピュータ、ポータブルコンピュータ、ＰＤＡ、スマートフォン、又はワークステーションコンピュータを含む任意の種類のコンピューティングデバイスを指す。処理ユニットは１つ又は複数のプロセッサを備えることができ、該プロセッサのそれぞれが様々な市販のプロセッサのうちの任意のものの形態をとることができる。一般に、各プロセッサは、読出し専用メモリ（ＲＯＭ）及び／又はランダムアクセスメモリ（ＲＡＭ）から命令及びデータを受信する。システムメモリは通常、コンピュータの起動ルーチンを含む基本入出力システム（ＢＩＯＳ）を格納するＲＯＭと、コンピュータプログラム命令及びデータを格納するＲＡＭとを備える。

コンピュータは通常、キーボード、ポインティングデバイス（例えばコンピュータマウス）、マイクロフォン、カメラ、又はコンピューティングデバイスとともに用いられることが知られている任意の他の入力手段等の、ユーザーインタラクション用の（例えばコマンド又はデータを入力し、結果を受信又は閲覧する）入力デバイスも備える。コンピュータは、モニター若しくはディスプレイ、プロジェクタ、プリンタ、オーディオスピーカ、又はコンピューティングデバイスによって制御可能であることが知られている任意の他のデバイス等の出力デバイスも備えることができる。いくつかの実施形態では、コンピュータは１つ又は複数のグラフィックカードも備えることができ、該グラフィックカードのそれぞれが、内部クロック源又は外部クロック源に同期された１つ又は複数のディスプレイ出力を駆動することが可能である。

用語「コンピュータプログラム」は、本明細書において、プロセッサ及びシステムメモリを備えるコンピューティングデバイスに、データを変換し、かつ／又はディスプレイ表示若しくは印刷標示等の有形な結果を生成する一連の処理ステップを実行させるための、有形コンピュータ可読ストレージ媒体上に格納された機械可読命令を指すのに用いられる。

用語「コンピュータ可読媒体」は、本明細書において用いられるとき、データ、データ構造、及び機械実行可能命令のための不揮発性又は永続性のストレージを提供するのに適した、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読出し専用メモリ、及びランダムアクセスメモリ等の、揮発性又は不揮発性の任意の種類のメモリ又はメモリデバイスを含む。これらの命令及びデータを有形に具体化するのに適したストレージデバイスは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス等の半導体メモリデバイス、内部ハードディスク及びリムーバルディスク等の磁気ディスク、光磁気ディスク、並びにＣＤ、ＣＤＲＯＭ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、及びＤＶＤ−ＲＷ等の光ディスクを含む、全ての形態の不揮発性メモリを含む。上記の種類のコンピュータ可読媒体又は関連デバイスのうちの任意のものを、コンピュータと関連付けるか又は該コンピュータの一部分として含めて、それぞれのインタフェースによってシステムバスに接続することができる。他のコンピュータ可読ストレージデバイス（例えば、磁気テープドライブ、フラッシュメモリデバイス、及びデジタルビデオディスク）もコンピュータとともに用いることができる。

本明細書において用いられるとき、用語「サブフレーム」は、表示画像のうちの、単一のプロジェクタによって一方の眼に対して生成された部分を指す。１つ又は複数のプロジェクタからの複数のサブフレームによって生成された完全な表示画像は、「合成画像」と呼ばれる。単一のプロジェクタが時間多重化によって合成画像を生成し、個々のサブフレームを連続して投影することができること、及び、合成画像はマルチプロジェクタシステムにおいてプロジェクタのサブグループ（すなわちプロジェクタの全てより少ない）によって生成することもできることを理解されたい。

上述したように、３Ｄ偏光投影は、偏光で構成される画像を偏光保持スクリーンに対し放出、透過、又は反射する二重相補偏光素子を用いる。次に、これらの画像は偏光レンズを用いた特殊な眼鏡をかけている視聴者によって視聴される。

３Ｄ偏光投影システムは、単一のプロジェクタ又は複数のプロジェクタを用いることができる。偏光に基づく３Ｄ画像表示システム１００の１つの実施形態の図が図１Ａに示されている。画像表示システム１００は、画像データを処理し、画像データをプロジェクタ１１２に送信するコンピュータプロセッサ１０２を備える。プロジェクタ１１２は二重相補偏光素子を備え、包括的に１１４で示される偏光画像を偏光保持スクリーン１０６に投影する。コンピュータコントローラ１０２は、左眼画像用及び右眼画像用の別個のチャネルを有するデュアルヘッドグラフィックスカードを備えることができる。画像は、絵画的、図形的、若しくはテクスチャ的な文字、シンボル、図、又は他の情報表現を含むことができる。表示システムは、以下でより詳細に検討するように、コンピュータプロセッサ１０２に相互接続されて較正のフィードバックを提供する較正カメラ１２２も備えることができる。

単一のプロジェクタ１１２が用いられる場合、プロジェクタは、右眼のビュー及び左眼のビューをスクリーン１０６に交互に投影するように時間多重化される。図１Ａに示す例は、直線偏光されたシステムを表しているが、円形偏光されたシステムも３Ｄ偏光に基づく投影に用いることができることを理解されたい。直線偏光では、単一のプロジェクタを用いて立体動画を提示するために、２つの画像が、異なる角度をつけられた偏光フィルタを通してフレームごとにスクリーン上に連続して投影される。偏光フィルタは、直交偏光する（すなわち、互いに対して９０度の角度で偏光されている）こともできるし、何らかの他の比較的大きな角度で偏光することもできる。

スクリーンは、偏光を保持するために、偏光を解消しないように特別に構築される。スクリーンはまた、（一方の眼が１つのフレームを視聴している間、他方の眼は何も見ていないので）光損失を補償するために、明るさを保持するように構成することができる。

画像を視聴するために、視聴者は一対の偏光フィルタ１１０ａ、１１０ｂを含む低コストの眼鏡１０８をかける。説明の目的で、図１Ａ及び図１Ｂに示す眼鏡のレンズはそれぞれ水平な線及び垂直な線を用いて示され、直交偏光されたレンズを表している。すなわち、右レンズ１１０ａは水平方向に偏光されている一方、左レンズ１１０ｂは垂直方向に偏光されている。図１Ａ及び図１Ｂは単なる例示であることを理解されたい。実際には、偏光のそれぞれの角度は水平及び垂直と異なることができる。例えば、多くの偏光に基づく３Ｄシステムにおいて、レンズごとの偏光角度はそれぞれ４５度及び１３５度に設定される。各フィルタは、同様に偏光された光のみを通し、他の光を遮断するので、各眼は全画像のうちの同様に偏光された部分のみを見る。すなわち、各眼に対する光は、各眼に対し別個の画像を生成するように選択され、立体視を作り出し、投影画像において奥行きの錯覚を与える。有利には、この手法は、数名の人々がヘッドトラッキングなしであっても立体画像を同時に視聴することを可能にすることができる。

図１Ａにおいて、水平方向に偏光されたサブフレーム１１４ａを投影する投影システム１００が示されている。この画像は、その偏光に起因して、偏光眼鏡１０８の右レンズ１１０ａを通過し、この眼鏡の左レンズ１１０ｂによって遮断される。なぜなら、左レンズ１１０ｂは垂直方向に偏光されているためである。一方、図１Ｂでは、プロジェクタ１１２は垂直方向に偏光されたサブフレーム１１４ｂを投影している。このサブフレームは、対応する偏光を有する左レンズ１１０ｂによって透過されるが、水平方向に偏光されている右レンズ１１０ａによって遮断される。このようにして、視聴者の右眼及び左眼は異なるサブフレームを見ることになり、３Ｄ画像の外観を提供するために、各眼が僅かに異なるビューを知覚することが可能になる。これらの偏光されたサブフレームは、通常のビデオリフレッシュレートの数倍で交互に投影することができる。例えば、ビデオ投影システムの通常のリフレッシュレートが毎秒６０フレームである場合、単一プロジェクタシステム１００は、毎秒１２０サブフレームのレートで個々の偏光されたサブフレームを投影するように構成し、各眼に毎秒６０の全体フレームに相当するものを提供することができる。当業者であれば、他のリフレッシュレート及びサブフレームレートも用いることができることを認識するであろう。

３Ｄ偏光投影システムは、複数のプロジェクタを用いることもできる。マルチプロジェクタ３Ｄ表示システムの図が図２に示されている。このシステムは２つのプロジェクタを有して示されているが、３つ以上のプロジェクタを用いるマルチプロジェクタシステムも用いることができることを理解されたい。２つのプロジェクタを用いることによって、一方のプロジェクタが右眼画像を投影し、他方のプロジェクタが実質的に重なり合う位置において左眼画像を投影することが可能になる。

画像表示システム２００は、画像データ２０２を処理し、対応する偏光された表示画像２１４を生成する。画像表示システムは、画像フレームバッファ２０４と、サブフレーム生成器２０８と、プロジェクタ２１２Ａ、２１２Ｂ（合わせてプロジェクタ２１２と呼ばれる）と、カメラ２２２と、較正ユニット２２４とを備える。画像フレームバッファ２０４は、画像データ２０２を受信及びバッファリングして、画像フレーム２０６を作成する。サブフレーム生成器２０８は、画像フレーム２０６を処理して、異なるように偏光された対応する画像サブフレーム２１０Ａ、２１０Ｂ（合わせてサブフレーム２１０と呼ばれる）を規定する。１つの実施形態では、画像フレーム２０６ごとに、サブフレーム生成器２０８は、プロジェクタ２１２Ａの１つのサブフレーム２１０Ａと、プロジェクタ２１２Ｂの１つのサブフレーム２１０Ｂとを生成し、これらのサブフレームはそれぞれ右眼画像及び左眼画像に対応する。サブフレーム２１０Ａ、２１０Ｂは、それぞれプロジェクタ２１２Ａ、２１２Ｂによって受信され、それぞれ画像フレームバッファ１１３Ａ、１１３Ｂ（合わせて画像フレームバッファ１１３と呼ばれる）に格納される。プロジェクタ２１２Ａ、２１２Ｂは、それぞれ偏光されたサブフレーム２１０Ａ、２１０Ｂをスクリーン２１６上に投影し、ユーザーが視聴するための合成表示画像２１４を生成する。プロジェクタ２１２Ａからの画像は、プロジェクタ２１２Ｂによって投影された画像と異なるように偏光され、それによって、視聴者の眼鏡２３２のそれぞれのレンズ２３０ａ、２３０ｂは、各眼に異なる画像を渡し、結果の画像において奥行きの錯覚を与える。

画像フレームバッファ２０４は、１つ又は複数の画像フレーム２０６の画像データ２０２を格納するメモリを備える。このため、画像フレームバッファ２０４は、１つ又は複数の画像フレーム２０６のデータベースを構成する。画像フレームバッファ１１３は、サブフレーム２１０を格納するメモリも備える。画像フレームバッファ２０４及び１１３の例には、不揮発性メモリ（例えば、ハードディスクドライブ又は他の永続性ストレージデバイス）が含まれ、揮発性メモリ（例えばランダムアクセスメモリ（ＲＡＭ））を含めることもできる。

サブフレーム生成器２０８は、画像フレーム２０６を受信及び処理し、複数の画像サブフレーム２１０を規定する。サブフレーム生成器２０８は、画像フレーム２０６内の画像データに基づいてサブフレーム２１０を生成する。プロジェクタ２１２はサブフレーム生成器２０８から画像サブフレーム２１０を受信し、画像サブフレーム２１０をターゲット表面２１６上に同時に投影することができる。２つのプロジェクタが用いられる場合、これらのサブフレームを実質的に重なり合った関係で投影し、図１Ａ、図１Ｂの実施形態のような時間多重化と異なり、全体画像２１４の２つの偏光されたサブフレームを同時に提供することができる。しかしながら、３つ以上のプロジェクタが用いられる場合、選択されたサブフレームを、空間的にずらした位置に投影し、タイル状の又は部分的に重なり合った合成画像２１４を生成することもできる。これによって、より大きな画像若しくはより広い画像を提供するか、又は複数のプロジェクタ２１２からの重なり合ったより低い解像度のサブフレーム２１０を用いることによって、より高解像度のディスプレイの外観を有する画像を提供することを可能にすることができる。

当業者であれば、サブフレーム生成器２０８によって実行される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実施することができることが理解されよう。この実施態様は、マクロプロセッサ、プログラマブルロジックデバイス、又は状態機械を介したものとすることができる。システムの構成要素は、１つ又は複数のコンピュータ可読媒体デバイス上のソフトウェア内に存在することができる。

図２には、画像フレームバッファ２２０を有する基準プロジェクタ２１８も示されている。基準プロジェクタ２１８は、図２では隠線で示されている。なぜなら、１つの実施形態において、プロジェクタ２１８は実際のプロジェクタではなく、最適なサブフレーム２１０を生成するための画像形成モデルにおいて用いられる仮想高解像度基準プロジェクタであるためである。１つの実施形態では、実際のプロジェクタ２１２のうちの１つのロケーションは、基準プロジェクタ２１８のロケーションとなるように規定することができる。表示システム２００は、カメラ２２２及び較正ユニット２２４も備えることができ、これらを用いてプロジェクタ２１２と基準プロジェクタ２１８との間の幾何学的マッピングを自動的に求めることができる。

画像表示システム２００は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組合せを含むことができる。１つの実施形態では、画像表示システム２００の１つ又は複数の構成要素（例えば、フレームバッファ２０４、サブフレーム生成器２０８、及び較正ユニット２２４）が、コンピュータ、コンピュータサーバ、又は一連の論理演算を実行することが可能で、システムメモリを有する他のマイクロプロセッサベースのシステムに含まれる。そのようなシステムは、本明細書において包括的に、マルチプロジェクタシステムの「コントローラ」と呼ばれる。加えて、処理をシステム全体に分散し、個々の部分を、ネットワーク化された環境又はマルチコンピューティングユニット環境（例えばクラスタ化されたコンピュータ）等の別個のシステム構成要素において実施することができる。

図１に示し上記で説明した単一のプロジェクタの実施形態と同様に、カメラ２２２は、較正ユニット２２４に結合され、ジオメトリ、色、輝度等の補償パラメータを求めるのに用いられ、マルチプロジェクタシステムがシームレスな画像を形成するのを可能にする。

上述したように、３Ｄ偏光投影における１つの大きな課題は、画像チャネル間のクロストークである。すなわち、画像のうち、一方の眼に向けられた部分が他方の眼に漏出又はブリードし、これによって画像品質が下がる。この種のクロストークは、単一プロジェクタ３Ｄシステム又はマルチプロジェクタ３Ｄシステムにおいて生じる可能性がある。３Ｄ偏光投影システムにおけるクロストークは通常、偏光及び選択プロセスにおける不完全性に起因して生じる。例えば、クロストークは、投影された光を所望の角度に完全に偏光しない場合がある所与のプロジェクタの偏光板により発生する可能性がある。加えて、偏光を保持するように構成された投影スクリーンが、偏光保持を完全に行わない場合があり、所望の信号を選択するために視聴者がかける眼鏡の偏光フィルタが他の信号も捕捉する場合がある。偏光に基づく３Ｄ投影システムにおけるクロストークはこれらの原因及び他の原因により生じる可能性がある。

クロストークの低減に対するほとんどの手法は、より良好な投影スクリーン材料、より良好な偏光フィルタ、及びより良好な偏光眼鏡等の改善されたハードウェアに焦点を当ててきた。不都合なことに、ハードウェアの改善は高価になりがちであり、実施に多くの時間がかかる可能性がある。

本明細書において開示されるように、偏光に基づく３Ｄ投影システムにおけるクロストークを低減するための非ハードウェア方法が開発されている。この方法は、較正フェーズ中にカメラ又は記録デバイスを介してチャネル間の光漏れを観察することを含む。次に、この漏れは、右眼及び左眼に対して表示された画像を、計算プロセスを介してデジタルで補正することによって補償される。本明細書に示される実施形態は偏光に基づくシステムであるが、本明細書に開示する方法は、相補的スペクトル手法（例えば各眼に赤・緑のカラーフィルタを用いる）等の他の相互消去（cross-canceling）技法にも適用することができる。加えて、図示及び説明される実施形態は、左眼用及び右眼用にそれぞれ２つのチャネルを備えるが、本方法は３つ以上のチャネル用に拡張することもできる。

この方法の１つの実施形態におけるステップを概説するフローチャートが図３に与えられている。本方法は、３つの主要なフェーズ、すなわち、較正フェーズ３０２、計算フェーズ３０４、及び補正／レンダリングフェーズ３０６を有する。較正フェーズは、計算フェーズにおいてコンピュータ（例えば図１のコンピュータコントローラ１０２）によって用いられることになるデータを提供する。計算フェーズ及びレンダリングフェーズは、コンピュータコントローラによって実行することができる。コンピュータコントローラは、プロセッサ及びシステムメモリを有するコンピュータシステムを提供する。各フェーズで実行されるステップは、コンピュータのメモリ内に格納されたプログラムステップとして保存することができる。較正フェーズにおいて、左眼画像に寄与する表示要素（複数の場合もあり）（すなわち、プロジェクタ（複数の場合もあり））を用いて、各チャネルの較正画像（例えば偏光画像）をそれぞれ投影する（ステップ３０８）。すなわち、２チャネルシステムの場合、左眼のプロジェクタがまず左眼用の画像を投影し、次に右眼用の画像を投影する。次に、右眼画像に寄与する表示要素（複数の場合もあり）も用いて各眼の画像を投影する。複数のプロジェクタが関与している場合、このプロセスは各プロジェクタについて繰り返される。図３のフローチャートにおいて提案されているように、投影される画像は、N. Damera-Venkata、N. Chang、及びJ. Dicarlo、「A Unified Paradigm for Scalable Multi-Projector Displays」、IEEE Trans. on Visualization and Computer Graphics, Nov.-Dec. 2007（以下「Damera-Venkata、Chang、及びDicarlo」）において概説されているようなマルチプロジェクタシステムのためのトレーニングプロセスの一部として用いられるインパルス画像とすることができる。

当業者であれば理解するように、種々の異なる較正パターンを、単一プロジェクタシステム又はマルチプロジェクタシステムにおける幾何学的較正及び色較正に用いることができる。一方、クロストークの較正が関係しているとき、較正パターンは各原色のフラットフィールドとすることができる。すなわち、赤・緑・青（ＲＧＢ）投影システムの場合、各較正スクリーンは、強度が（おそらく）均一の単一の原色のベタ画像とすることができる。各較正画像は、カメラ−プロジェクタシステムの通常の幾何学的較正又は色較正とは異なり、プロジェクタ（複数の場合もあり）にある偏光フィルタを用いて連続して投影される。

各画像が表示されると、カメラ（すなわち、図２の較正カメラ２２２）が、二重偏光フィルタを用いて投影画像を観察し、偏光眼鏡の効果を模倣する（ステップ３１０）。これは、最初にカメラ上に一方の偏光フィルタを導入して画像を取得し、次に他方の偏光フィルタを用いてプロセスを繰り返すことによって行うことができる。このステップにおいて、フィルタは、偏光眼鏡をかけている視聴者と（スクリーンに対して）同様の向きで位置決めされることが仮定される。一方の画像から他方の画像への漏れがあれば現れるので、このステップはクロストークを捕捉する。例えば、ＲＧＢ投影システムを仮定すると、左眼に対し赤色較正画像が投影されるとき、右眼は理論的に何も見えないはずである。しかしながら、漏れが存在する限り、右眼画像は視野の或る領域で或るレベルの赤色光を捕捉し、緑及び青等の他の光も捕捉する場合がある。これは、システムが、空間的な漏れに加えて、スペクトルの漏れも呈する可能性があることを反映している。逆もまた真であり、赤色較正画像が右眼に投影される場合、左眼によって捕捉された或るレベルの赤色光並びに場合によっては更に青色光及び緑色光として漏れがあれば現れる。上述したように、これらの画像を取得するこのプロセスは、プロジェクタごとに、右／左眼画像及び右／左眼受像（reception）の各組合せについて繰り返される。

当業者であれば、特にマルチカメラシステムが用いられている場合に、上述した較正手法を、幾何学的較正、輝度較正、及び色較正と併せて実行することができることを認識するであろう。例えば、カメラ群の幾何学的較正の後に、クロストークを検出するための較正パターンの投影に加えて、赤色、緑色、及び青色の原色の連続投影を用いて色較正を同様に可能にすることができる。しかしながら、マルチプロジェクタシステムでは、本明細書において開示されるクロストーク較正プロセスは通常、幾何学的較正が完了した後に実行され、それによって、各プロジェクタからの画像は空間的に所望の向きに向けられることになる。他の較正操作も実行することができる。３Ｄ表示システムが偏光に基づくシステムではない場合、投影された較正画像を捕捉するステップ（ステップ３１０）は、較正カメラが、偏光フィルタではなく、何らかの他の適切なフィルタ（例えばカラーフィルタ）を用いて較正画像を捉えることを含むことも明らかであろう。

ステップ３１０からの捕捉画像に基づいて、計算フェーズ３０４における第１のステップは、所与の画像がプロジェクタ（複数の場合もあり）から投影された場合に眼が見ることになるもののシミュレートされた画像又はモデルを構築することである（ステップ３１２）。このモデルは、投影されている実際の画像の数値モデルである。換言すれば、コンピュータシステムは、較正カメラによって捕捉された画像を解析し、該画像の数値モデルを構築する。数値モデルは、実際に捕捉された画像に対応するデータストリームを表す。ｙを用いて、座標（ｍ，ｎ）における所与のピクセルの色値を表し、ｌがそのピクセルの輝度値を表す場合、シミュレートされた画像の構造は以下の式によって表すことができる。

これらの式において、ｌ及びｒの下付き文字は、それぞれ左画像及び右画像を表す。式［１］の第１項を見ると、Ｃ_ｌは左眼の恒等行列を表し、ｙ_ｌは座標（ｍ，ｎ）において左眼に投影されるように意図されたピクセル値（すなわち、色）を表し、ｌ_ｌはそのピクセルの輝度を表す。式［２］において類似した第１項が設けられているが、この式は右眼に適用されるという点で異なる。各式の第２項はクロストークの影響を導入している。項Ｃ_ｒｌ及びＣ_ｌｒは、２つのチャネル間のスペクトルクロストークを表す。項ｌ_ｒｌ及びｌ_ｌｒは、２つのチャネル間の空間クロストークを表す。式［１］及び式［２］の左辺のこれらの式は、各眼のシミュレートされた画像を表し、ｘ_ｌ及びｘ_ｒとして表される。

次に、式［１］及び式［２］の左辺の項によって表される「シミュレートされた」画像は、所望のクロストークのない理論画像と比較される（ステップ３１２）。特に、クロストークのない所望の画像を表す数式が、ｘ_ｌ及びｘ_ｒに代わって式［１］及び式［２］の右辺に代入される。所望のクロストークのない画像は、コンピュータコントローラによって求められる理論画像であり、クロストークが存在しない場合にカメラが捕捉するはずの画像の数値モデルを表す。換言すれば、理論画像は、クロストークのない、理想投影システムの所望のカメラビューを生成する画像データストリームに変換された画像データストリームである。複数のプロジェクタが用いられる場合、この画像は各プロジェクタからの一貫した達成可能な理想画像を表す。例えば、所与のマルチプロジェクタシステムにおける異なるプロジェクタはそれぞれ異なる色域を有する可能性があるので、理論画像はこれを考慮に入れ、各色を全てのプロジェクタの交差域の構成要素として表し、理論画像が全てのプロジェクタについて達成可能であるようにする。この開示では、コントローラシステムが既に、共通性のこれらの様々な面を「認識」するようにプログラムされていることが仮定される。プロジェクタ間の共通性の他の面も、理論画像を計算するときに考慮に入れることができる。

次のステップは、式［１］及び式［２］においてクロストークパラメータ又は係数Ｃ及びｌについて解くことである。このステップは、シミュレートされた画像と理論画像とが互いに等しいことを表す数式を設定し、次に変数Ｃ及びｌについて解くことを含む。これはステップ３１４である。ピクセル値ｙが較正画像について既知であるので、Ｃ及びｌの値は、式［１］及び式［２］を用いて直接取得することができる。Ｃ及びｌの値は、所与のプロジェクタの特性を表し、画像に依存しない一方、ｙの値は画像に依存する。一方、単一の色のフラットフィールドを含む較正画像では、ｙ値は既知であり、所与のプロジェクタについて、式［１］及び式［２］をＣ及びｌについて直接解くことが可能になる。Ｃ及びｌのこれらの値はコンピュータメモリ内に格納することができる。

クロストーク係数（Ｃ及びｌの値）が求められると、次のステップは、新たな画像データを受信し（ステップ３１６）、式［１］及び式［２］におけるピクセル値ｙ（ステップ３１８）について解くことである。新たな画像データは、例えばインパルス画像若しくはトレーニング画像を表すデータ、又は何らかの他の画像を表すデータとすることができる。上述したように、理論画像が代入されたのと同じようにして、新たな画像データを表す数式が式［１］及び式［２］に代入され、次にピクセル値ｙについて式が解かれる。

式［１］及び式［２］に関して上述した例示的な実施形態は、２チャネル（左及び右）システムに関するが、本明細書において開示される方法は、３つ以上のチャネルをサポートするように拡張することもできる。すなわち、３つ以上の投影チャネル間のクロストークを同じようにして補償することができる。３つ以上のチャネルが関与する場合、関連する式を拡張することができる。例えば、３つのチャネルが関与する場合、上記の式［１］及び式［２］に類似した一群の３つの式が用いられるが、３つの式のそれぞれが追加のクロストーク経路を考慮する追加項を含むことになる。

図３に概説する実施形態において、プロジェクタごとのインパルス画像を受信し、次にその画像を補正するピクセル値を計算するこのプロセスは、繰返しブロック３２０によって示されるように、トレーニングプロセスにおいて複数のインパルス画像について複数回繰り返すことができる。このタイプのトレーニングプロセスは当業者に既知であり、Damera-Venkata、Chang、及びDicarloにおいて、並びに、N. Damera-Venkata 及びN. L. Chang、「Realizing Super-resolution With Superimposed Projection」、Proc. IEEE International Workshop on Projector-Camera Systems (ProCams), Minneapolis, MN, June 2007(以下、「Damera-Venkata及びChang」)において提示されている。

一連のインパルス画像に対してこのトレーニングプロセスを実行することによって、数組の補正されたｙ値を得ることができる。これらの補正されたピクセル値を集合的に用いて、レンダリングフェーズ３０６において任意の後続の画像のために用いることができる１組の線形ランタイムフィルタ係数を生成することができる（ステップ３２２）。すなわち、ステップ３１８においてインパルス画像が補正されると、システムは、一連の線形係数を求めることができ（ステップ３２２）、該係数によって、全ての後続の画像のためのデータストリームを投影前にリアルタイムで変換することができる（ステップ３２４）。これらの係数によって、後続の画像を高速補正してクロストークを低減し、そうでない場合よりも、各後続の画像フレームがクロストークのない理論画像に近づくようにすることが可能になる。

本明細書において説明されるプロセスは画像に依存する。すなわち、（較正パターンであろうと他の画像であろうと）所与の画像フレームの補正は固有となる。このため、ステップ３１８において得られる計算解は、ステップ３１６において用いられる画像ごとに異なる。しかしながら、ステップ３２０において示すように、トレーニングプロセスを複数回繰り返すことによって、種々の数学的反復の誤差項をフィルタ内にカプセル化し、ランタイムフィルタ係数を得て、いかなる入力に対する出力も同じフィルタセットを用いて計算することができるようにし、高速リアルタイムレンダリングを可能にすることができる。結果として、上記で概説したトレーニング方法は、後続の画像のクロストークを実質的に低減するランタイムフィルタ係数を提供するが、少量のクロストークがいくつかの画像において依然として発生する場合がある。この手法では必ずしも各画像フレームについて完全な較正が得られないが、画像フレームごとの近似解が提供され、ビデオ動画においてクロストークを大幅に低減する。

代替的に、別の実施形態では、システムはビデオストリームの全ての画像フレームに対し、連続したクロストーク補正をリアルタイムで実行することができる。この実施形態におけるステップを概説するフローチャートが図４に提供されている。図３に概説したプロセスと同様に、このプロセスは較正フェーズ４０２、計算フェーズ４０４、及びレンダリングフェーズ４０６を含む。前の実施形態のように、較正フェーズにおいて、偏光された較正画像が、まず各プロジェクタによって各眼に対して投影される（ステップ４０８）。ステップ４１０において、ステップ３１０のように、まず一方の眼について、次に他方の眼について、偏光フィルタを用いた較正カメラによって画像が捉えられる。

シミュレートされた画像を計算するプロセス（ステップ４１２）、シミュレートされた画像を理論画像と等式化するプロセス（ステップ４１４）、及びクロストーク係数「Ｃ」及び「ｌ」について解くプロセス（ステップ４１６）も、図３の実施形態における相当するステップと同じである。しかしながら、インパルス画像を用いてランタイムフィルタ係数を生成するのではなく、ステップ４１６において求められた「Ｃ」及び「ｌ」のクロストーク係数が、ステップ４１８において受信される新たな画像データに直接適用される。具体的には、新たな画像フレームを表すデータがステップ４１８において受信される。新たな画像データは、「Ｃ」及び「ｌ」の値を有する式［１］及び式［２］の数式を用いて等式化される。これによって、システムが、その特定の画像のピクセル値ｙについて解くことが可能になる（ステップ４２０）。

これらの値を用いてランタイムフィルタ係数を生成するのではなく、ステップ４１８において受信される画像データは直接補正され、その特定の画像は補正されたピクセル値を用いて投影される（ステップ４２２）。式［１］及び式［２］は線形であることが理解される。しかしながら、ピクセルは負値も１より大きい値も有することができないので、ｙの値はゼロと１との間になるように制約される。この制約では、これらの式は非線形になるが、勾配降下プロセス等の反復的な計算プロセスを用いて解くことができる。上記の式［１］を見て、コンピュータシステムは、ｙ_ｌ値及びｙ_ｒ値の初期推定又は推測を行い、次に誤差項を見つけ、ｙ_ｌ値及びｙ_ｒ値を調整し、誤差項が適用された状態で、シミュレートされた画像及び新たな画像データセットが等しくなるまでプロセスを繰り返すようにプログラミングされる。このプロセスは、最終的に新たな画像データのクロストーク補正を提供する。勾配降下プロセスは非線型である。結果として、勾配降下計算によって、最終的に特定の画像の単一の解が得られ、特定の画像はクロストークに関して補正される。複数のピクセル値について反復的に解くためのこの種類のプロセスは、上記で引用したDamera-Venkata、Chang、及びDicarlo、並びにDamera-Venkata及びChangの参考文献に概説されている。勾配降下法の他に、これらの線形式を解く他の方法も用いることができることを理解されたい。

補正された画像が投影され（ステップ４２２）、その後、このプロセスは次の画像フレームについて反復することができ（ステップ４２４）、ステップ４１８に戻る。このようにして、ビデオストリームの各フレームが独自の較正を受けることができる。ビデオストリ−ムの各画像フレームについてリアルタイムでこれらの較正計算を実行することによって、より高品質の画像が提供されるが、これによって投影システムの速度が低下する可能性がある。換言すれば、図４に概説するプロセスは、図３に概説するプロセスよりも高品質の画像を提供するが、より多くのコンピュータ処理を必要とする。このため、静止画像、又はフルモーションビデオを必要としない用途の場合、図４のプロセスを用いて、図３に概説する方法よりも高品質の画像を提供することができる。それでも、十分なマイクロプロセッサパワーを用いて、図４において概説されるプロセスに、動画ビデオに適した速度でビデオ画像を受信及び補正させることもできる。

本明細書において開示される方法は、ハードウェア手法ではなく、３Ｄクロストークへの計算的解決法を提示する。クロストークを計算的に補償することによって、低コストの構成要素を用いることが可能になり、高品質のコンテンツであっても品質を改善することができる。この補償により、クロストークに起因するぶれが大幅に低減されるので、画像はより鮮鋭になる。上述したように、本明細書において開示される方法は、相補的スペクトル手法等の他の相互消去技法に適用することもでき、関連する式を拡張することによって、３つ以上のチャネルをサポートするように拡張することもできることを理解されたい。

上記で参照した構成は本明細書において開示される原理の応用形態を例示するものであることを理解されたい。当業者には、特許請求の範囲において示されるような本開示の原理及び概念から逸脱することなく、多数の変更を加えることができることは明らかであろう。

Claims (15)

1. ａ）各チャネルの較正画像を、連続して投影しカメラを用いて捕捉することによって前記プロジェクタカメラシステムを較正し、前記チャネル間のクロストークを捕捉する、較正するステップと、
   ｂ）前記コントローラにより、前記捕捉した画像に基づいて前記プロジェクタカメラシステムに適用可能なクロストーク係数を計算するステップと、
   ｃ）前記計算されたクロストーク係数に基づいて、新たな画像データをクロストークに関して補正するステップと、
   を含む、プロセッサ及びシステムメモリを備えるコントローラと、少なくとも２つのチャネルとを有する３Ｄプロジェクタカメラシステムにおいてクロストークを補償する方法。
2. 前記較正画像は、単一色のフラットフィールドを含む、請求項１に記載の方法。
3. 前記クロストーク係数を計算する前記ステップは、前記コントローラが、各チャネルの前記捕捉した画像に基づいて、クロストークを含むシミュレートされた画像を数学的に構成し、該シミュレートされた画像をクロストークのない理論画像と比較し、空間クロストーク係数及びスペクトルクロストーク係数について解くことを含む、請求項１に記載の方法。
4. 前記新たな画像データは複数のインパルス画像を含む、請求項１に記載の方法。
5. （ｄ）前記複数のインパルス画像の前記補正に基づいてランタイムフィルタ係数を設定するステップと、
   （ｅ）前記ランタイムフィルタ係数を用いて後続の画像フレームを補正するステップと、
   （ｆ）前記補正された後続の画像フレームを投影するステップと、
   を更に含む、請求項４に記載の方法。
6. 前記新たな画像データを補正する前記ステップは、勾配降下プロセスを用いてピクセル値について解くことを含む、請求項１に記載の方法。
7. 補正後に前記新たな画像データを投影するステップ、
   を更に含む、請求項１に記載の方法。
8. 前記プロジェクタカメラシステムは、前記コントローラに結合され、かつ共通投影ロケーションに向けられた複数のプロジェクタを備える、請求項１に記載の方法。
9. ａ）投影ロケーションへの投影のために、偏光に基づく投影システムの２つのチャネルのそれぞれにおいて、偏光された較正画像を連続して送信するステップと、
   ｂ）前記投影ロケーションに向けられた較正カメラにより、前記投影された較正画像を捕捉するステップと、
   ｃ）前記コントローラにより、前記捕捉した画像に基づいて、前記投影システムに適用可能なクロストーク係数を計算するステップと、
   ｄ）前記計算されたクロストーク係数に基づいて、新たな画像データをクロストークに関して補正するステップと、
   を含む、プロセッサ及びシステムメモリを備えるコンピュータによって実行される、偏光に基づく３Ｄ投影システムにおいてクロストークを補償する方法。
10. 前記新たな画像データは複数のインパルス画像を含み、前記方法は、
    ｅ）前記インパルス画像の前記補正に基づいてランタイムフィルタ係数を設定するステップと、
    ｆ）前記ランタイムフィルタ係数を用いて後続の画像フレームを較正するステップと、
    を更に含む、請求項９に記載の方法。
11. 前記補正された新たな画像データを表すデータストリームを、投影のために投影システムに提供するステップ、
    を更に含む、請求項９に記載の方法。
12. 機械可読命令を含むコンピュータプログラム製品であって、該機械可読命令はコンピュータ可読ストレージ媒体に格納され、少なくとも２つのチャネルを有する３Ｄプロジェクタカメラシステムに結合された、プロセッサ及びシステムメモリを備えるコンピューティングデバイスに、
    ａ）各チャネルの偏光画像を、連続して投影しカメラを用いて捕捉することによって前記プロジェクタカメラシステムを較正し、前記チャネル間のクロストークを検出する、較正するステップと、
    ｂ）前記捕捉した画像に基づいて前記プロジェクタカメラシステムに適用可能なクロストーク係数を計算するステップと、
    ｃ）前記計算された誤差に基づいて、各チャネルの後続の画像を補正しレンダリングするステップと、
    を実行させる、機械可読命令を含むコンピュータプログラム製品。
13. 前記クロストーク係数を計算する前記ステップはそれぞれのクロストークのない理論画像を、前記捕捉した画像を数学的に表すシミュレートされた画像と数学的に比較し、前記クロストーク係数について解くことを含む、請求項１２に記載のコンピュータプログラム製品。
14. ｄ）複数のシミュレートされたインパルス画像を対応するクロストークのない理論画像と数学的に等式化するステップと、
    ｅ）補正されたピクセル値について前記式を解くステップと、
    ｆ）前記補正されたピクセル値に基づいて前記後続の画像を補正及びレンダリングするのに用いるランタイムフィルタ係数を計算するステップと、
    を更に含む、請求項１３に記載の方法。
15. ｄ）前記後続の画像を表す単一のシミュレートされた画像を、対応するクロストークのない理論画像と数学的に等式化するステップと、
    ｅ）補正されたピクセル値について前記式を解くステップと、
    ｆ）前記補正されたピクセル値に基づいて前記後続の画像をレンダリングするステップと、
    を更に含む、請求項１３に記載の方法。

Images