JP2006507609A - 合成画像を生成する画像取り込み・表示システム及び方法 - Google Patents

Abstract

画像取り込み・表示システムを開示する。一実施形態では、本発明は、被写体の画像を提供する画像取り込みシステム（１０）を提供する。画像取り込みシステムは、平面と、第１のカメラ（１４）と、第２のカメラ（１６）と、制御モジュール（１２）とを備える。第１のカメラは、平面と第１のカメラの間に位置する被写体との第１の被写体画像を取り込むように配置される。第２のカメラは、第１のカメラから離間され、被写体の第２の被写体画像を取り込むように配置される。制御モジュールは、第１のカメラと、第２のカメラと、平面との相対的な位置を使用して、仮想視点（５４）からの被写体の合成画像を生成するように構成される。

Description

［発明の分野］
本発明は、画像取り込み・表示システムに関し、特に、少なくとも２台の実際のカメラの間に位置する仮想カメラの視点より、合成画像を生成し表示する画像取り込み・表示システムに関する。

［発明の背景］
ダイナミックプレゼンテーション及びトレーニングセッションの使用が、ビジネスの世界の一環となってから随分経つ。ライブプレゼンテーション及びトレーニングセッションにより、事業体は、従業員、ビジネスパートナー、又は商取引する他の事業体に対して情報を効率的に伝達することができる。技術が進むにつれ、ますます多くのプレゼンテーション及びトレーニングセッションが、見る側の都合がよいときにプレゼンテーション、又はセッションにアクセスすることができるマルチメディアフォーマットで記録されるようになり、これによって、多くのタイミング、スケジューリングの問題がなくなる。マルチメディアプレゼンテーションは、多くの場合、フルモーションビデオプレゼンテーションを含み、これは中央演算処理装置を介して表示される。関連するマルチメディアプレゼンテーションを中央演算処理装置内に記憶することによって、ユーザが閲覧に関心のあるプレゼンテーション又はトレーニングセッションに容易にアクセスすることができる。

通常、マルチメディアプレゼンテーションは、単一の固定ビデオカメラによって録画される。単一の固定カメラによるマルチメディアプレゼンテーションの録画は、プレゼンテーション又はトレーニングセッションに、２つ以上のダイナミックな関心領域が含まれることが多い。従って、問題が発生する場合がある。異なった関心領域は、ユーザが時に様々な程度の関心を持つ領域である。しかし、単一の固定ビデオカメラは、各関心領域を完全に取り込むために、複数の視点からプレゼンテーション又はセッションを取り込みことができない。このような問題に対処して、マルチメディアプレゼンテーションは、ビデオ撮影する被写体を取り囲み、互いに離間された複数の固定カメラによって録画することができる。複数のビデオカメラ視点からのビデオ画像を中央演算処理装置に記憶することにより、ユーザが、必要に応じてビデオカメラビューを切り替えて、特定のときにおける関心領域を見ることができる。

複数のカメラを使用してより多くの関心領域を録画できるようにしても、通常、ユーザが表示のカメラ視点を切り替えたい場合に問題が発生する。表示ビューを変更するユーザ入力があると、ビデオ画像はカメラの視点を急に切り替える。視点の急な変化は混乱を招くものであり、カメラの間隔及び特定の関心領域によっては、関心エリアの全体を表示することができない場合がある。例えば、１台のカメラが関心領域の一部を取り込んでいる間に、別のカメラが関心領域の別の部分を取り込む場合がある。そのため、両方のカメラが関心領域の部分的なビューを提示するにもかかわらず、いずれのカメラも、ユーザが最適に見るために満足のいくアングルで関心領域全体を表示することができない。

上記問題を鑑みて、見る際に画像のカメラ視点を操作する方法及びシステムを有することが望ましい。特に、ユーザがダイナミックなシーンを見て、その視点をインタラクティブに制御することができ、カメラ間の遷移を滑らかにし、プレゼンテーション又はシーンの関心領域を完全にカバーする方法及びシステムが必要である。

［発明の概要］
本発明は、画像取り込み・表示システムを開示する。一実施形態では、本発明は、被写体の画像を提供する画像取り込みシステムを提供する。画像取り込みシステムは、平面と、第１のカメラと、第２のカメラと、制御モジュールとを備える。第１のカメラは、平面と第１のカメラとの間に位置する被写体の第１の被写体画像を取り込むように配置される。第２のカメラは、第１のカメラから離間される。第２のカメラは、被写体の第２の被写体画像を取り込むように配置される。制御モジュールは、第１のカメラと、第２のカメラと、平面との相対的な位置を使用して仮想視点からの被写体の合成画像を生成するように構成される。

［好ましい実施形態の説明］
以下の好ましい実施形態の詳細な説明では、本明細書の一部をなし、本発明を実施することができる特定の実施形態を例として示す添付図面を参照する。他の実施形態を利用することも可能であり、本発明の範囲から逸脱することなく、構造的又は論理的な変更を行うことが可能なことを理解されたい。従って、以下の詳細な説明は、限定の意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲によって規定される。

図１は、本発明の画像取り込み・表示システムの例示的な一実施形態の全体を１０で示す。画像取り込み・表示システム１０は、少なくとも２台のカメラによって被写体を取り込めるようにし、取り込まれた画像は解析され、表示及び対話のためにユーザに送られる。ユーザは、２台のカメラの間にある仮想視点を選択し、選択された仮想視点に対応する合成画像を見ることができる。

本発明の構成要素は、マイクロプロセッサ、プログラマブルロジック、又は状態機械のいずれかによりハードウェアで実施することも、ファームウェアで実施することも、又は所与の装置のソフトウェアで実施することも可能である。一態様では、ソフトウェアプログラミングの少なくとも一部はウェブベースであり、ＨＴＭＬ及びＪＡＶＡ（登録商標）プログラミング言語で書かれ、Ｗｉｎｄｏｗｓ（登録商標）ベースのオペレーティングシステム等、データ収集するユーザインタフェースへのリンクを含み、各主構成要素は通信バスプロトコルを使用してネットワークを介して通信することができる。他の実施形態では、本発明の構成要素はウェブベースではなく、他のプログラミング言語（例えば、Ｃ又はＣ＋＋）で書くことができる。例えば、本発明は、データ伝送にＴＣＰ／ＩＰプロトコルスイートを使用してもしなくてもよく、本発明との併用に適した他のプログラミング言語及び通信バスプロトコルが、本願により当業者に明らかになる。本発明の構成要素は、１つ又は複数のコンピュータ可読媒体上のソフトウェアに常駐してもよい。本明細書において使用する「コンピュータ可読媒体」という語は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）等、揮発性であれ不揮発性であれ、あらゆる種類のメモリを包含するものと定義される。

例示的な一実施形態では、画像取り込み・表示システム１０は、制御モジュール１２と、第１のカメラ１４と、第２のカメラ１６と、平面背景１８と、ビデオディスプレイ２０と、ユーザ制御機構２４とを備える。ユーザ２２は、ユーザ制御機構２４を介して画像取り込み・表示システム１０と対話する。好ましい一実施形態では、制御モジュール１２が第１のカメラ１４と第２のカメラ１６とに結合される。第１のカメラ１４と第２のカメラ１６とは平面背景１８に向けられる。制御モジュール１２は、ビデオディスプレイ２０とユーザ制御機構２４とにも結合される。ユーザ２２は、ビデオディスプレイ２０を見て、制御モジュールと対話し、ユーザ制御機構２４を介して表示されている画像を制御することができる。

制御モジュール１２は、複数のビデオ画像を受け取り記憶すること、ならびに受け取った画像を継ぎ目なく組み合わせて１つの合成画像とし、ビデオディスプレイ２０に転送して表示させることができる。制御モジュール１２は、中央演算処理装置（ＣＰＵ）３０と、第１の画像又はビデオ取り込み装置３２と、第２の画像又はビデオ取り込み装置３４と、ビデオグラフィックスカード３６と、記憶装置３７とを備える。ＣＰＵ３０は、全体の動作と、ならびに第１のビデオ取り込み装置３２と、第２のビデオ取り込み装置３４と、ビデオグラフィックスカード３６との間の対話とを管理する。さらに以下に考察するように、ＣＰＵ３０は、較正と、解析と、補間計算とを行い、合成画像を導出する。ＣＰＵ３０は、当分野において既知の高速並列動作が可能な任意の処理装置であることができる。記憶装置３７は、複数のビデオ画像、又は他の画像データ（例えば、画像の形状情報及び色情報）を記憶することができ、これらを後に検索し合成することができる。記憶装置３７は、ハードディスクドライブ等の永続記憶装置であってもよい。

従って、ＣＰＵ３０は第１の画像処理システム３２と、第２の画像処理システム３４と、ビデオグラフィックスカード３６とに結合される。第１の画像処理システム３２と第２の画像処理システム３４とは、第１のカメラ１４と第２のカメラ１６とのそれぞれより、ＣＰＵ３０への情報の転送を容易にする。一態様では、画像処理システム３２、３４は、ビデオカメラ１４、１６を介して取り込まれたビデオ画像をＣＰＵ３０による使用に対して変換するように動作する。一態様では、画像処理システム３２、３４は、ビデオカメラ１４、１６からのビデオ入力の受け取りに適したハードウェアインタフェース接続を備える。２つの離散した画像処理システム３２、３４として図示されるが、第1のカメラ１４と第２のカメラ１６とに接続する複数のポートを有する単一の画像処理システムを使用することも可能であり、これも本発明の範囲内に留まることに留意すべきである。ビデオグラフィックスカード３６は、ＣＰＵ３０からビデオディスプレイ２０へのビデオ画像の送信を容易にする。ビデオグラフィックスカード３６は、任意の市販されているビデオグラフィックスカードを含むことができるが、一実施形態では、合成ビデオ画像をビデオディスプレイ２０上で引き延ばして視差歪をいずれも除去するように適合された装置制御インタフェース（ＤＣＩ）である。

画像取り込み装置３１はビデオカメラ１４を含む。画像取り込み装置３１は画像処理システム３２を含むことができる。制御モジュール１２は画像処理システム３２を含む。別の例示的な実施形態では、画像処理システム３２は制御モジュール１２とは別体であり、ビデオカメラ１４の一部であることができる。同様に、画像取り込み装置３３はビデオカメラ１６を含む。画像取り込み装置３３は画像処理システム３４を含むことができる。制御モジュール１２は画像処理システム３４を含む。別の実施形態では、画像処理システムは制御モジュール１２とは別体であり、ビデオカメラ１６の一部であることができる。

第1のカメラ１４及び第２のカメラ１６は、第1及び第２の画像処理システム３２、３４それぞれを介してＣＰＵ３０に結合される。ビデオカメラ１４、１６は、デジタルビデオ及び／又は写真出力を生成可能な任意の市販されている画像取り込み装置であることができる。第１のカメラ１４は第２のカメラ１６から離間されている。第１のカメラ１４は、第１のカメラ１４による画像取り込みエリアを示す第１の投影プロファイル４０を有する。別の言い方をすれば、第１のカメラ１４によって画像として取り込むことができるのは、第１の投影プロファイル４０内に位置する被写体のみである。同様に、第２のカメラ１６は、第２のカメラ１６により画像の取り込みが可能なエリアを示す第２の投影プロファイル４２を有する。第１のカメラ１４及び第２のカメラ１６は、第１の投影プロファイル４０及び第２の投影プロファイル４２が所望の画像取り込みエリアをカバーする平面背景１８に向けられ、平面背景１８から十分な距離をおいて配置される。平面背景１８は、第１のカメラ１４及び第２のカメラ１６に面した前平面４４を有する任意の背景である。例示的な一実施形態では、平面４４は単色である。第１の投影プロファイル４０と第２の投影プロファイル４２とが重なるエリアは、二重被写エリア４６である。二重被写エリア４６内に配置されたアイテムのみが、第１のカメラ１４及び第２のカメラ１６によって取り込まれた画像から導出される合成ビューを有することが可能である。この点に関して、例示的な一実施形態では、第１のカメラ１４及び第２のカメラ１６は、取り込むべき被写体がすべて二重被写エリア４６内にあるように配置される。

画像取り込み・表示システム１０は、ビデオグラフィックスカード３６を介してＣＰＵ３０に結合されたビデオディスプレイ２０をさらに備える。ビデオディスプレイ２０としては、標準ＶＧＡコンピュータモニタを含めた市販のモニタを挙げることができる。ビデオディスプレイ２０は、ＣＰＵ３０によって導出され記憶された画像をユーザ２２に視覚的に中継するように機能する。ユーザ２２は、ユーザ制御機構２４を介してＣＰＵ３０と対話して、ビデオディスプレイ２０に表示されたまさにその画像を制御する。ユーザ制御機構２４は、キーボード、マウス、及び当分野において既知の他のコンピュータ入力装置の少なくとも１つを含むことができる。

図２は、画像取り込み・表示システム１０を利用する画像取り込み及び表示方法の例示的な一実施形態の全体を１００で示す。画像取り込み及び表示方法１００は、画像取り込み・表示システム１０の較正プロセス１０２と、第１のカメラ１４と、第２のカメラ１６とにより収集された、ビデオ画像の取り込み・解析プロセス１０４、ならびにユーザ２２に対する対話式表示プロセス１０６を含む。

図３は、本発明による較正プロセス１０２の例示的な一実施形態を示すフローチャートである。図１も参照する。１１０において、予め設計された較正パターン５０が平面背景１８の前（すなわち、前平面４４上）に表示される。好ましくは、較正パターン５０は主に、二重被写エリア４６内に配置される。較正パターン５０は、ＣＰＵ３０によって識別される、チェッカー盤矩形の四つ角等の明確な特徴を有する平面上の、チェッカー盤パターン等の予め設計されたパターンである。較正パターン５０のサイズ及び属性は予めＣＰＵ３０に入力されており、ＣＰＵ３０にとって既知である。１１２において、第１のカメラ１４は較正パターン５０の第１の画像を取り込む。第１の画像は、第１のビデオ取り込み装置３２を介してＣＰＵ３０に送られる。１１４において、ＣＰＵ３０は第１の画像を解析して、取り込まれた較正パターン５０の明確な特徴を見つける。１１６において、第２のカメラ１６は較正パターン５０の第２の画像を取り込む。第２の画像は、第２のビデオ取り込み装置３４を介して第２のカメラ１６からＣＰＵ３０に転送される。ＣＰＵは、較正パターン５０の明確な特徴について第２の画像を解析する。好ましくは、ブロック１１２と１１６とは同時に行われ、ブロック１１４と１１８とは同時に、又は略同時に行われる。

１２０において、ＣＰＵ３０は第１及び第２の画像からの明確な特徴を、較正パターン５０の既知の特徴と比較し、対応マッピングを行う。対応マッピングには、第１の画像１４中の較正パターン５０の取り込まれた明確な各特徴を見つけ、取り込まれた明確な特徴の空間的関係を示すことが含まれる。第１の画像中の特徴間の空間的関係は、較正パターン５０上の明確な特徴の所定の実際の間隔と比較され、マッピング対応情報が生成される。較正パターン５０は平面背景１８上に配置された平面であるため、マッピング対応情報から、第１のカメラ１４に対する平面背景の幾何学的パラメータが直接計算される。同様の対応マッピング手順は第２の画像を使用しても完了され、第２のカメラ１６に対する平面背景１８の幾何学的パラメータが求められる。例示的な一実施形態では、各カメラの幾何学的パラメータは平面射影行列（homography matrix）として表現される。

１２２において、１２０において求められた平面背景１８の対応マッピングと幾何学的パラメータとが利用され、第１のカメラ１４と第２のカメラ１６との内部及び外部両方の較正パラメータが計算される。内部較正パラメータとしては、各カメラの焦点距離及びレンズ歪みが挙げられるがこれらに限定されない。外部較正パラメータとしては、互いに対する、また平面背景１８に対する第１及び第２のカメラ１４、１６の相対的な位置及び向きが挙げられる。すべての較正パラメータが求められた後、１２４において、第１のカメラ１４と、第２のカメラ１６と、平面背景１８との全体的な空間的関係が、各カメラの較正パラメータに基づいて求められる。第１のカメラ１４と、第２のカメラ１６と、平面背景１８との全体的な空間的関係を使用して、第１のカメラ１４に対する第１の座標系と、第２のカメラ１６に対する第２の座標系とが求められる。２つの座標系が導出されると、較正プロセスが完了する。較正プロセスを行う必要のある回数は、カメラの位置（すなわち、第１のカメラ１４及び第２のカメラ１６）が平面背景１８の平面に対して固定である限り一度だけである。

一実施形態では、較正ステップ１０２が完了すると、較正パターン５０は平面背景１８から除去され、録画すべきプレゼンテーションの被写体５２、又はシーンで置き換えられる。被写体５２が所定位置にくると、取り込み・解析ステップ１０４が開始される。本発明による取り込み・解析ステップ１０４の例示的な一実施形態の全体を図４のフローチャートに示す。１３０において、第１のカメラ１４は、第１の投影プロファイル４０内に位置する被写体５２と平面背景１８の部分の第１の被写体画像とを取り込む。好ましい一実施形態では、被写体全体が第１の投射プロファイル４０内に位置する。第１の被写体画像、又はビデオは、第１のカメラ１４によって録画され、第１のビデオ取り込み装置３２を介してＣＰＵ３０に転送される。ステップ１３０と同時に行われるステップ１３２において、第２のカメラ１６は、第２の投影プロファイル４２内に位置する被写体５２と平面背景１８との部分の第２の被写体画像、又はビデオを取り込む。好ましい一実施形態では、被写体全体が第２の投射プロファイル４２内に位置する。第２の被写体画像は、第２のビデオ取り込み装置３４を介してＣＰＵ３０に転送される。

１３４において、第１の被写体画像と第２の被写体画像とは、ある時間期間（例えば、「イベント」又はプレゼンテーションの継続時間）にわたり、時間期間を個々の瞬間又は一瞬に分割することによって解析される。解析は、時間期間が終わるまであらゆる瞬間において進められる。１３６において、第１の瞬間ｉにおける第１の被写体画像が、較正１０２中に得られた全体的な空間関係に基づいて第２のカメラ１６の座標系に幾何学的に変換される。具体的には、平面背景１８が３×３行列Ｍで表され、行列Ｍの行ｉ、列ｊにある成分がｍ＿ｉｊである場合、第１のカメラ１４の座標系における個々のピクセル（ｕ，ｖ）にある第１の被写体画像の色等の視覚的特徴が、以下の式により第２のカメラ１６の座標系における位置（ｕ’，ｖ’）に移動する。

第１の被写体画像は、第２のカメラ１６の座標系に転送されると、第１の転送後被写体画像になる。

１３８において、第１の転送後被写体画像中の各ピクセルの色情報が、同じ瞬間ｉにある第２の被写体画像中の対応する各ピクセルの色情報と比較される。第１の転送後被写体画像のピクセルと第２の被写体画像の対応するピクセルとで色が一致しない場合、ポイントのいずれか一方が平面背景１８の表面上にない、又は一方の被写体画像において遮蔽されていることが示される。平面背景１８の表面上にないポイントは、平面背景１８の正面にある被写体５２、例えば、プレゼンター、シーンの構成物、又は視覚補助に対応する。１４０において、第１の転送後被写体画像と第２の被写体画像とで色が一致しないポイントは、全体画像から抽出され、抽出オブジェクトポイントとして分類される。特に、抽出オブジェクトポイントのみがさらに解析され、それによって個々の各瞬間に各フレームに対して行うべき解析の量が低減する。

１４２において、抽出オブジェクトポイント間の対応マッピングが計算される。一般に、ブロック１４２は、各画像中の各ピクセルの形状及び色の各属性を、特定の画像が取り込まれたカメラに対応する座標系にマッピングすることを含む。例えば、第１の被写体画像と第２の被写体画像との間で、抽出オブジェクトポイントに関して対応マッピングが計算される。第１の被写体画像中の各抽出オブジェクトポイントは、第１のカメラ１４の座標系にマッピングされる。抽出オブジェクトポイントの座標は、第１のカメラ１４に対して求められると、第２のカメラ１６に対する同じ抽出オブジェクトポイントの座標と結合される。

様々な手法を使用して、抽出オブジェクトポイントの対応マッピングを行うことができる。適した手法としては、相関最大化と、ボリュメトリック技法と、モデルベースのステレオ(model-based stereo)と、当分野において既知の他の手法とが挙げられる。第２の被写体画像中のポイントに適宜マッチングしない第１の被写体画像中のポイントは、遮蔽ポイントとして識別され、平面に属するものと仮定される。１４４において、ブロック１４２において各抽出オブジェクトポイントにマッピングされた情報の表現が導出される。このような表現により、後に、第１の被写体画像と第２の被写体画像の間にある画像の補間が可能になる。深度値、あらゆるピクセルの動きベクトル、又は当分野において既知の他の方法等、様々な表現方法を使用することができる。１４６において、解析すべき残りの時間期間内に、第１の被写体画像と第２の被写体画像との瞬間が残っているか否かが判断される。解析すべき瞬間が残っている場合、ブロック１３６〜１４６が必要に応じて繰り返される。解析すべき時間期間内に瞬間が残っていない場合、時間期間は終わり、解析はブロック１４８に示すように完了する。任意選択的に、画像データ（例えば、ビデオ画像、画像の形状情報、及び色情報）が記憶装置３７に記憶され、後に使用する際に利用することが可能になる。

解析プロセス（１３４〜１４８）は逆方向に繰り返してもよく、例えば、第２の被写体画像中のオブジェクトポイントを識別し、第２の被写体画像から第１の被写体画像へのマッピングを求める等であってもよい。抽出オブジェクトポイントならびに抽出オブジェクトポイントのマッピングは、双方向で一致すべきである。一致しないと考えられる抽出オブジェクトポイントは、遮蔽ポイントとみなされる。双方向マッチングにより、解析の堅牢性が向上するが、完了までにより多くの時間が必要であり、それによって全体のプロセスが低速化する。

解析１０４の完了後、対話式表示１０６を行うことができる。本発明による対話式表示１０６の例示的な一実施形態の全体を図５のフローチャートに示す。図１も参照する。対話式表示１０６のブロック１６０において、画像の形状情報と色情報の表現とが、ＣＰＵ３０のメモリにロードされる。１６２において、被写体画像を見ているユーザ２２が、ユーザ制御機構２４を介して瞬間ｉにおける仮想視点５４を示す。仮想視点５４は、第１のカメラ１４と第２のカメラ１６との間にあり、ＣＰＵ３０によって作成される合成画像を実際に取り込むために仮想カメラ５６が配置されたであろう場所を表すポイントである。一態様では、ユーザは単に、ビデオディスプレイ２０に対応するマウスをクリックアンドドラッグするだけで、第１のカメラ１４と第２のカメラ１６の間でのシフトをシミュレートし、仮想視点５４の所望の位置を示すことができる。特定の瞬間ｉにおいて、ユーザは、マウス又はユーザ制御機構２４を動かさず、前の瞬間ｉから仮想視点５４の変更位置を示すことにより、前の瞬間と同じ仮想視点を示すことができる。

ブロック１６４において、第１のカメラ１４と第２のカメラ１６との間の仮想視点５４の位置が求められ、これを利用して瞬間ｉにおける補間パラメータａが導出される。補間パラメータａは、第１のカメラ１４と仮想視点５４との間の距離を、第1のカメラ１４と第２のカメラ１６との間の総距離で割ったものである。補間パラメータａを求めた後、第１のカメラ１４と第２のカメラ１６との間の距離は、残りの補間計算において等しいとみなされる。従って、仮想視点５４と第２のカメラ１６との間の距離は１−ａに等しい。

１６６において、仮想視点５４の各ピクセルの形状情報と色情報が、第１のカメラ１４と第２のカメラ１６とに対する仮想視点５４の位置に基づいて、第１の被写体画像と第２の被写体画像との対応マッピング情報を含む被写体画像中のすべてのポイントの表現から補間される。一実施形態では、合成画像を作成するには、ＣＰＵ３０は、補間パラメータａが与えられた上で、新しい形状情報及び色情報を計算する。ｐ＿１が、瞬間ｉにおいてｃ＿１に等しい色を有する第１の被写体画像の特定のポイントのピクセル座標を表し、ｐ＿２が、特定の瞬間ｉにおいて色ｃ＿２を有する第２の被写体画像中の対応ポイントのピクセル座標を表すとする。すると、このポイントは、以下の式によって与えられる合成ビューの位置ｐ’に色ｃ’で表される。

この補間はまず、対応マッピングが３×３平面射影Ｍによって与えられる、平面に対応するすべての画像ピクセルに対して行われる。次いで、補間は抽出オブジェクトポイントに対して行われる。これにより、後ろから前のレンダリング順になり、被写体（例えば、プレゼンター）が確実に仮想画像において平面の前に描かれる。

１６８において、補間された値を使用して、元々取り込まれた画像ではない、瞬間ｉにおける仮想視点５４からの合成画像が作成される。レンダリングを高速化するには、パラメータａを固定数のレベルに量子化し、おそらくよりコストのかかる浮動小数点演算ではなく高速ビット演算を使用できるようにすることが可能なことに留意すべきである。言い換えれば、仮想カメラ５６の可能な位置を制限することにより、行う必要のある計算が少なくなり、結果としてレンダリングが高速になる。しかし、これは、第１のカメラ１４と第２のカメラ１６との間、又は仮想カメラ５６に対して真に継ぎ目なく遷移を提供しない場合がある。ブロック１７０において、作成された瞬間ｉの合成画像は、ビデオグラフィックスカード３６を介してＣＰＵ３０からビデオディスプレイ２０に中継され、ユーザ２２に対して表示される。

１７２において、ＣＰＵ３０は、所望の時間期間内で、第１又は第２の被写体画像において表示すべき瞬間が残っているか否かを解析する。表示すべき瞬間が残っている場合、ステップ１６２〜ステップ１７２が必要に応じて繰り返される。表示すべき瞬間が残っていない場合、対話式表示プロセスは、ステップ１７４に示すように完了する。

図６は、本発明により、画像取り込み・表示方法５０を行うことが可能な画像取り込み・表示システムの別の例示的な実施形態の全体を２１０で示す。画像及び取り込み表示システム２１０は、制御モジュール２１２と、第１のカメラ２１４と、第２のカメラ２１６と、平面背景２１８と、ネットワーク通信リンク２１９と、第２の中央演算処理装置（第２のＣＰＵ）２２１と、ビデオディスプレイ２２０と、ユーザ制御機構２２４とを備える。システム２１０と対話するユーザは２２２で表される。制御モジュール２１２は、複数のビデオ画像を受け取り記憶することが可能であると共に、受け取った画像を１つの合成画像に継ぎ目なく組み合わせてビデオディスプレイ２２０に転送することが可能である。制御モジュール２１２は、第１の中央演算処理装置（ＣＰＵ）２３０と、第１の画像処理システム２３２と、第２の画像処理システム２３４とを備える。ＣＰＵ２３０は、ＣＰＵ３０ならびに第１及び第２の画像処理システム３２、３４について上述した方法と同様にして、第１の画像処理システム２３２と第２の画像処理システム２３４と対話する。第１の画像処理システム２３２は第１のカメラ２１４に結合され、第１のカメラ２１４からＣＰＵ２３０への情報の転送を容易にする。同様に、第２の画像処理システム２３４は第２のカメラ２１６に結合され、第２のカメラ２１６からＣＰＵ２３０への情報の転送を容易にする。２つの離散した画像処理システム２３２、２３４を示すが、第１のカメラ２１４と第２のカメラ２１６とに結合するための複数の入力ポートを有する単一の画像処理システムを使用してもよい。

図１に関連して上述したように、第１のカメラ２１４と第２のカメラ２１６とは、録画すべき被写体２５２が第１のカメラ２１４と第２のカメラ２１６との二重被写エリア２４６内に入るように、平面背景２１８に向けられ、平面背景２１８から十分な距離をおいて配置される。より具体的には、第１のカメラ２１４の第１の投影プロファイル２４０は、第１の画像に取り込まれることが望ましい被写体２５２及び平面背景２１８の部分をカバーする。従って、第２のカメラ１６は、第２の被写体画像に取り込むことが望ましい被写体２５２及び平面背景２１８の部分が、第２のカメラ２１６の第２の投影プロファイル２４２内に入るように配置される。さらに、第１の投影プロファイル２４０は第２の投影プロファイル２４２に重なり、二重被写エリア２４６を形成する。二重被写エリア４６について上述したように、二重被写エリア２４６は、第１のカメラ２１４と第２のカメラ２１６との間の仮想視点から合成画像をレンダリングすることができる被写エリアを表す。

再び図６を参照すると、制御モジュール２１２は、ネットワーク通信リンク２１９を介して第２のＣＰＵ２２１に結合される。本明細書において使用するネットワーク通信リンク２１９は、インターネット通信リンク、イントラネット通信リンク、又は同様の高速通信リンク等の通信リンクを包含するものと定義される。好ましい一実施形態では、ネットワーク通信リンク２１９はインターネット通信リンク２２６を含む。さらに、ネットワーク通信リンク２１９は、ワイヤレス通信リンクを含むことができる。さらに、ネットワーク通信リンク２１９は、ＣＰＵ２３０にアクセスすることなく、第２のＣＰＵ２２１がアクセスする画像の形状及び色の各情報表現を一時的、又は永続的に記憶するネットワークサイト２２８を含むことができる。

第２のＣＰＵ２２１は、ビデオグラフィックスカード２３６を介してビデオディスプレイ２２０に接続される。ユーザ２２２は、ビデオディスプレイ２２０上で画像を閲覧し、それと同時に、第２のＣＰＵ２２１に結合されたユーザ制御機構２２４を介して、ビデオディスプレイ２２０上に表示されている画像を制御することができる。第２のＣＰＵ２２１は、ネットワーク通信リンク２１９と、ビデオグラフィックスカード２３６と、ユーザ制御機構２２４との間の全体の対話を管理する。第２のＣＰＵ２２１は、高速並列演算が可能な処理装置である。ビデオディスプレイ２２０と、ビデオグラフィックスカード２３６と、ユーザ制御機構２２４とはそれぞれ、上述したビデオディスプレイ２０と、ビデオグラフィックスカード３６と、ユーザ制御機構２４と同様である。

制御モジュール２１２と、第１のカメラ２１４と、第２のカメラ２１６と、平面背景２１８とは、制御モジュール１２と、第１のカメラ１４と、第２のカメラ１６と、平面背景１８とに関連して上述した方法と同様にして、図２に示す較正１０２及び取り込み・解析１０４を行う。第１のカメラ２１４及び第２のカメラ２１６は、図１の画像取り込み装置３１、３３と同様に、画像取り込み装置２３１、２３３の一部である。

画像及び取り込み表示システム２１０は、画像取り込み・表示システム１０と略同じように画像及び取り込み表示方法１００の対話式表示１０６を行う。しかし、ブロック１４０の例示的な一実施形態では、取り込み・解析１０４において得られた表現情報は、単に、ＣＰＵ２３０のメモリにロードされるだけではない。より正確に言えば、画像の形状及び色の表現がＣＰＵ２３０にロードされると、表現は、ネットワーク通信リンク２１９を介してＣＰＵ２３０のメモリから第２のＣＰＵ２２１のメモリにコピーされる。

ネットワーク通信リンク２１９により、遠隔地（例えば、他国）のユーザが合成画像を閲覧することができる。さらに、ＣＰＵ２２１は、制御モジュール２１２から離れた場所にも配置することが可能である。これにより、複数の位置にある複数のカメラシステムが単一のＣＰＵ２２１を利用することが可能になり、通信リンク２１９を介して画像を到達可能な略あらゆる場所に同報通信することができる。

別の例示的な実施形態では、形状及び色の表現は、ＣＰＵ２３０からネットワーク通信リンク２１９を介してネットワークサイト２２８に送られる。ネットワークサイト２２８に記憶された表現を、ネットワーク通信リンク２１９から第２のＣＰＵ２２１に、後にアクセス及びダウンロードの少なくともどちらかを行い、ステップ１０６が完了する。表現情報を第２のＣＰＵ２２１にロードすると、ステップ１４２〜１５２は、ＣＰＵ３０と、ビデオディスプレイ２０と、ユーザ２２と、ユーザ制御機構２４とについて上述した方法と同様に、第２のＣＰＵ２２１と、ビデオディスプレイ２２０と、ユーザ２２２と、ユーザ制御機構２２４とによって完了する。

画像取り込みと，表示システム１０、２１０と、画像取り込み及び表示方法１００とを２台のカメラに関連して説明してきたが、３台以上のカメラを組み込んだ同様のシステム及び方法も本発明の範囲内である。追加の各カメラ（図示せず）は、追加される投影プロファイルが、合成画像を導出することができる追加の二重被写エリアを作り出すように、第１のカメラ１４、２１４、第２のカメラ１６、２１６、及び他のいずれの追加のカメラからも離間することができる。追加のカメラは、他のカメラと同じ水平に沿って離間し、取り込まれる総画像の全幅及び画像合成に利用可能なエリアを拡大することができる。例示的な一実施形態では、カメラは、取り込むべきシーンの周囲の単一の水平面に沿って等間隔に離間される。従って、導出される合成画像は、カメラ水平に沿ったユーザ定義の仮想視点の位置に応じて、第１のカメラ１４、２１４と第２のカメラ１６、２１６、第２のカメラと第３のカメラ、又は第３のカメラと第４のカメラによって取り込まれる実際の画像により得られることができる。

さらに、第１のカメラ１４、２１４と、第２のカメラ１６、２１６と、追加のカメラとは、互いに対して異なる高さに配置して、仮想カメラポジショニングに利用可能な全高を拡大することができる。追加のカメラは、１つ又は複数の追加の投影プロファイルが既存の二重被写エリア４６、２４６に重なるように配置可能なことにさらに留意すべきである。そのように配置されたカメラ、及びそれによって取り込まれた画像は、当業者にとって明らかであるように、方法１００において行われる繰り返しと略同様の繰り返しをさらに行うことによって画像取り込み・表示方法１００に組み込むことができる。このようなポジショニングにより、ユーザが仮想視点位置を複数の次元で変更できることに留意されたい。

本明細書において説明した画像取り込み・表示システム及び方法は、ユーザがプレゼンテーション、トレーニングセッション、又は他のダイナミックなシーンを複数のアングル又は視点から見る能力を犠牲にすることなく、固定カメラを使用してプレゼンテーション、トレーニングセッション、又は他のダイナミックなシーンを取り込む効率的な方法を提供する。複数のカメラ及び補間技法を使用して、ユーザ選択の仮想視点からの合成画像を生成することにより、実際のカメラ画像間の滑らかな遷移が可能である。滑らかな遷移により、ユーザを混乱させる急なカメラアングルの変化が回避される。さらに、合成画像を作成する能力は、特定の瞬間の特定の関心領域がユーザにとって利用可能であることをより確実にするために、ユーザがシーンの閲覧に最も満足のいくアングルを選択できるようにする。

特定の実施形態について、好ましい実施形態の説明を目的として本明細書に図示し説明したが、本発明の範囲から逸脱することなく、図示し説明した特定の実施形態を、多種多様な代替及び／又は等価の実施態様で置き換えることができることが当業者に理解されよう。化学、機械、電気機械、電気、及びコンピュータの各分野における当業者は、本発明が多種多様な実施形態で実施可能なことを容易に理解しよう。本願は、本明細書において考察した好ましい実施形態の任意の適合又は変形を包含することを意図する。従って、本発明は特許請求の範囲及びその等価物によってのみ限定されることを明らかに意図する。

本発明による画像取り込み・表示システムの例示的な一実施形態を示すブロック図である。 本発明による画像取り込み・表示方法の例示的な一実施形態を示すフローチャートである。 図２の較正ステップの例示的な一実施形態を示すフローチャートである。 図２の取り込み・解析ステップの例示的な一実施形態を示すフローチャートである。 図２の対話式表示ステップの例示的な一実施形態を示すフローチャートである。 本発明による画像取り込み・表示システムの別の例示的な実施形態を示すブロック図である。

Claims (10)

1. 平面（４４）と第１のカメラとの間に位置する被写体の第１の被写体画像を取り込むように配置された第１のカメラ（１４）と、
   前記第１のカメラから離間され、前記被写体の第２の被写体画像を取り込むように配置された第２のカメラ（１６）と、
   前記第１のカメラと、前記第２のカメラと、前記平面との相対的な位置を使用した仮想視点（５４）から、前記被写体の合成画像を生成するように構成された制御モジュール（１２）と
   を備えた被写体の画像を提供する画像取り込みシステム（１０）。
2. 前記第１のカメラ（１４）から前記第１の被写体画像を取り込む第１の画像取り込み装置（３１）と、
   前記第２のカメラ（１６）から前記第２の被写体画像を取り込む第２の画像取り込み装置（３３）と
   をさらに備えた請求項１に記載の画像取り込みシステム（１０）。
3. 前記制御モジュール（１２）が、前記第１のカメラ（１４）に対して第１の座標セットを生成し、前記第２のカメラ（１６）に対して第２の座標セットを生成するように構成され、該第１の座標セットが該第２の座標セットに変換されるようになっている請求項２に記載の画像取り込みシステム（１０）。
4. 前記第１のカメラと、前記第２のカメラと、前記平面との相対的な位置を決定するために使用され、前記制御モジュール（１２）に記憶されている較正設定（１０２）をさらに備えた請求項２に記載の画像取り込みシステム（１０）。
5. 複数の明確な特徴を有し、前記平面（４４）上に一時的に置かれた較正パターン（５０）と、
   前記第１の画像取り込み装置（３１）を介して前記第１のカメラ（１４）から生成される前記較正パターンの第１の較正画像（１１２）と、
   前記第２の画像取り込み装置（３３）を介して前記第２のカメラ（１６）から生成される前記較正パターンの第２の較正画像（１１６）と
   をさらに備え、前記制御モジュール（１２）が、前記第１の較正画像と、前記第２の較正画像と、前記較正パターンの明確な特徴とを用いる前記較正設定（１２２）を決定して、前記第１のカメラと、前記第２のカメラと、前記平面との相対的な位置を決定する請求項４に記載の画像取り込みシステム（１０）。
6. 中央演算処理装置（１２）が、複数の連続した瞬間に前記合成画像を生成するように構成されている請求項１に記載の画像取り込みシステム。
7. 前記仮想視点（５４）の位置をユーザが選択できるようになっており、前記制御モジュール（１２）と通信する制御ユニット（２４）と、
   前記合成画像、前記第１の被写体画像、又は前記第２の被写体画像の少なくとも１つをユーザが閲覧できるようになっており、前記中央演算処理装置（１２）に結合された画像ディスプレイ（２０）と
   をさらに備えた請求項１に記載の画像取り込みシステム。
8. 第１の中央演算処理装置（２３０）に結合されたネットワーク通信リンク（２１９）と、
   前記ネットワーク通信リンクに結合された第２の中央演算処理装置（２２１）と、
   前記仮想視点の位置をユーザが選択できるようになっており、前記第２の中央演算処理装置に結合されたコントローラユニット（２２４）と、
   前記合成画像、前記第１の被写体画像、前記第２の被写体画像の少なくとも１つをユーザが閲覧できるようになっており、前記第２の中央演算処理装置に結合された画像ディスプレイ（２２０）と
   をさらに備えた請求項１に記載の画像取り込みシステム（１０、２１０）。
9. 第１のカメラ（１４）と、該第１のカメラから離間された第２のカメラ（１６）とを備えた複数のカメラ（１４、１６）を平面背景（４４）に向けるステップと、
   複数の既知の明確な特徴を有し、前記平面背景に置かれる前記較正パターン（１５０）の画像である前記第１の較正画像を前記第１のカメラを用いて取り込むステップ（１１２）と、
   前記較正パターン（５０）の画像である第２の較正画像を前記第２のカメラを用いて取り込むステップ（１１６）と、
   前記較正パターンの前記明確な特徴に関して前記第１の較正画像（１１４）と前記第２の較正画像（１１８）とを解析することによって、前記第１のカメラと、前記第２のカメラと、前記平面背景との間の空間的な関係を決定するステップと
   を含む請求項１〜８のいずれかに記載のシステムを用いて画像を取り込み、続いて合成画像を生成する画像取り込み方法。
10. 前記平面背景と、前記第１のカメラ（１４）と、前記第２のカメラ（１６）との間に被写体を配置するステップと、
    前記第１のカメラを用いて前記被写体の第１の被写体画像を取り込み（１３０）、前記第２のカメラを用いて前記被写体の第２の被写体画像を取り込む（１３２）ステップと、
    色の不一致ないずれのオブジェクトポイントも抽出オブジェクトポイント（１３８、１４０）として分類され、色の不一致に対して前記第１の被写体画像における各ポイントと前記第２の被写体画像の対応するオブジェクトポイントとを比較するステップと、
    前記抽出オブジェクトポイントのそれぞれに対して形状及び色の表現を得るステップ（１４４）と
    をさらに含み、前記第１のカメラ（１４）と、前記第２のカメラ（１６）と、前記平面背景（４４）との間の空間的な関係（１２４）を決定するステップは、
    前記較正画像の前記明確な特徴に対して前記第１の較正画像（１１２）と前記第２の較正画像（１１６）とを調べるステップと、
    前記第１の較正画像における前記明確な特徴の空間的な関係と前記較正パターンにおける前記明確な特徴の空間的な関係と比較するステップと、
    前記平面背景に対して前記第１のカメラ（１４）の空間的な関係を決定するステップと、
    前記第２の較正画像における前記明確な特徴の空間的な関係と前記較正パターンにおける前記明確な特徴の空間的な関係とを比較するステップと、
    前記平面背景に対して前記第２のカメラ（１６）の空間的な関係を決定するステップと
    を含み、前記第１のカメラと、前記第２のカメラと、前記平面背景との間における空間的な関係を決定するステップは、前記平面背景に対する前記第１のカメラの前記関係と、前記平面背景に対する前記第２のカメラの前記関係を利用して、前記第２のカメラに対する前記第１のカメラの前記関係を決定するステップをさらに含む請求項９に記載の画像取り込み方法。
    

Images