JP2005529559A - モノスコープ・イメージから立体的なイメージを生成するための方法 - Google Patents

Abstract

本発明は、立体的な映画として続々と表示することができる立体的なイメージ・ペアのシリーズを生成するための方法を提供する。立体的なペアのシーケンスは、標準の機器を使用して標準の技術によって獲得された情景の連続的なイメージのシーケンスから導出される。立体的なイメージ・シリーズの各フレームの右イメージと左イメージを含むイメージ・ペアの第１のイメージが、イメージの元のシーケンスから選択される。第１のイメージの立体パートナーが、元のシーケンスから選択され、かつ／または元のイメージ・シーケンスから選択されたイメージを変換することによって生成される。

Description

本発明は、立体的なイメージ・シリーズの分野に関する。より詳細には、本発明は、情景の一続きの連続的な２次元のイメージから立体的なイメージ・シリーズを生成するためのプロセスに関し、イメージは、標準の安定化されていないカメラを使用して獲得される。

立体的な、つまり３次元の写真は、人間の視覚の原理に基づく。２つの別個の検出器（目）が、わずかに異なる角から同一の物体を検出し、それらを２つの平面（網膜）上に投影する。得られたイメージは、プロセッサ（脳）に伝達され、プロセッサ（脳）が、それらのイメージを結合し、第３の次元、すなわち、奥行きを情景に与える。

１８３８年のホイートストン（Ｗｈｅａｔｓｔｏｎｅ）による立体鏡の最初の実用的な実証以来、立体イメージを作り出し、表示する多くの異なる方法が開発されてきた。ほとんどは、その２つの間で固定された関係を有する２つのカメラを使用するか、または２つのレンズを有する単一のカメラを使用して情景を撮影し、必要とされる２つのわずかにずれたイメージを生成するなどの、ハードウェア・ベースの方法である。

同様に、立体的なイメージを見る多くの方法が開発されており、２つのイメージを分離する色フィルタまたは偏光フィルタの使用、シャッター構成を使用するイメージの連続的伝達による時間的選択、またはビューア内でのイメージの物理的分離と、それぞれの目にイメージを投影することが含まれる。この最後の方法は、一方で、ホイートストンによって最初に使用された方法であり、他方で、最新のバーチャルリアリティ技術において使用されている。

立体的なイメージを生成し、見る前述の方法、および、は、当技術分野で周知であり、本明細書でさらに詳細に説明する必要はない。

立体的なイメージ・シリーズは、原則として、連続で見られる一続きの立体的なイメージに他ならない。立体的なイメージ・シリーズは、普通、ペアのイメージ・フレームを記録する２つのわずかにずらされたレンズを有する一連のイメージ・カメラを使用して生成される。各フレームは、そのフレームのパートナーとはわずかに異なる角で情景を示す。見られるアクションが連続的に、自然に流れるように見えるフィルムを獲得するため、撮影プロセス中、最大限の安定性が要求される。その結果、今日まで、従来技術の立体的なイメージ・シリーズは、特別に設計され、安定化されたカメラの使用だけによって生成されている。

動くビデオカメラからシームレスな立体モザイク・ペアを生成する方法が、例えば、Ｐｅｌｅｇ他［ＷＯ００／３９９９５］、およびＺｈｕ他［Parallel-Perspective Stereo Mosaics, IEEC International Conference on Computer Vision, Vancouver, Canada, July 2001, Vol.1 345頁〜352頁］によって開発されている。３次元効果をもたらすため、これらの方法によれば、立体モザイクに対して、個々のビデオ・フレームに対してではなく合わせが実行される。これらの方法は、基本的に、ビデオ・フィルムを利用し、そのフィルムを静的なモザイクに変える。もたらされるビューは、静的であり、元のフィルムに含まれていたカメラの動きの感覚を見る人に与えない。

今日まで、ハンドヘルド型ビデオカメラによって生成されたビデオ・フィルムから立体的なイメージ・シリーズを生成する方法は、全く提案されていない。また、既存の方法のいずれにおいても、元のイメージ・シリーズと一緒にオーディオ・トラックを記録し、結果の立体イメージとともにそのトラックを再生することは可能でない。

したがって、本発明の目的は、人間の視覚に必要な視差の条件が存在する情景の任意の一続きの連続的なイメージから、立体的な映画を生成する方法を提供することである。

本発明の別の目的は、情景の一続きの連続的なイメージから立体的な映画を生成する方法を提供することであり、イメージは、特殊カメラ、三脚、または安定化機材の使用なしに獲得される。

本発明のさらなる目的および利点は、説明が進むにつれて明らかになろう。

本発明は、情景の連続的なイメージのシーケンスを利用し、それらのイメージから、立体的な映画として続々と表示することができる一続きの立体的なペアを生成するための方法を提供することに向けられている。イメージ・シーケンスは、標準の機器を使用して標準の技術によって獲得される。イメージ・シーケンスは、ビデオカメラまたはデジタル・スチールカメラで撮影されたフレーム、あるいはデジタル化されたイメージを生成するようにスキャンされるアナログ・イメージを含むことが可能である。アナログ・イメージは、スチールカメラまたはムービーカメラで撮影されたイメージであることが可能である。立体的なイメージ・シリーズの各フレームの右イメージと左イメージを含むイメージのペアは、元のイメージ・シーケンスから選択されるか、かつ／または元のイメージ・シーケンスから選択されたイメージを変換することによって生成される。

本発明の好ましい実施形態によれば、立体ペアのシーケンスを生成する方法は、以下のステップを含む。すなわち、
ａ）必要な場合、イメージをデジタル化することができるデバイスを使用して、情景の連続的なイメージの元のシーケンスを読み取るステップ、
ｂ）デジタル化されたイメージをメモリ・ユニットの中に格納するステップ、
ｃ）関心対象のサブセットのイメージを選択するステップ、
ｄ）サブセットの中のイメージ間におけるアフィン変換の集合を計算するステップ、
ｅ）シーケンスの第１の立体ペアの１つのメンバになる情景のサブセットのイメージのシーケンスの１つのイメージを選択するステップ、
ｆ）前記選択されたイメージの隣接イメージから開始して、連続的なイメージのそれぞれへのカスケード式アフィン変換を算出し、適切な立体パートナー、すなわち、前記立体ペアの第２のメンバに変換することができるイメージが見つかるまで、視差基準を適用することにより、前記選択されたイメージの適切な立体パートナーを探索するステップ、
ｇ）前記立体ペアのメンバ、および前記ペアのメンバ間のカスケード式アフィン変換を使用することにより、平面変換を計算するステップ、
ｈ）前記平面変換を前記適切な立体パートナーに適用するステップ、
ｉ）前記立体ペアをメモリ・ユニットの中に格納するステップ、および
ｊ）前記選択されたサブセットの残りのイメージの次のそれぞれのイメージに関して、ステップｅ）ないしｈ）を繰り返すステップである。

視差基準は、選択されたイメージのイメージ中心と、可能な立体パートナーとして考慮されているイメージのイメージ中心の水平平行移動のピクセル数である。元のイメージ・シリーズの中における、そのシリーズの選択されたイメージに対する適切な立体パートナーの探索は、選択されたイメージの両側の隣接するイメージの間で実行され、選択されたイメージのいずれの側でも、所定の最大イメージ数に限定される。

本発明の方法によって生成された立体的な映画には、サウンド・トラックが伴うことが可能であり、このトラックは、連続的なイメージのシーケンスとともに記録されるサウンド・トラックと実質的に同一である。

本発明の以上すべての特徴および利点、ならびにその他の特徴および利点は、添付の図面を参照する本発明の好ましい実施形態の例示的な、限定的ではない説明を介してさらに理解されよう。

定義：本出願では、「立体的なイメージのシーケンス」という用語と「立体的な映画」という用語を、カメラによって記録された情景を表す映画を意味するものとして区別なく使用する。

本発明の目的は、情景のデジタル化されたイメージの連続的なシーケンスを利用し、それらのイメージから、立体的な映画として続々と表示することができる一続きの立体的なペアを生成することである。立体的なイメージのもたらされたシーケンスは、テレビ・スクリーンまたはコンピュータ・スクリーンなどのディスプレイ・デバイス上で表示され、そのシーケンスの３次元の特徴が、従来の立体視メガネの助けを借りて見られる。元のイメージ・シーケンスは、標準の機器を使用して標準の技術によって獲得され、例えば、ビデオカメラまたはデジタル・スチールカメラで撮影されたフレーム、またはデジタル化されたイメージを生成するようにスキャンされるアナログ・イメージを含むことが可能である。アナログ・イメージは、スチールカメラまたはムービーカメラで撮影されたイメージであることが可能である。

本発明の方法は、高度に自動化され、本発明の方法の様々なステップは、コンピュータ・ビジョンの技術者が精通している周知のアルゴリズムを使用して、プロセッサ・ユニットを使用して実行される。

本発明の方法を説明するため、理想化された例を考慮する。そのケースでは、本方法は、市販のハンドヘルド・ビデオカメラを使用する、歩く人によって撮影されたビデオ・フィルムからのイメージ・シーケンスに適用される。

図１は、カメラマンが一様な速度で街路を歩きながら記録した２つの家、および樹木から成る情景を示している。図２は、図１の情景がフィルム上にどのように現れるかを概略で示している。例として、フレーム全体（フレーム７）の輪郭が太線で描かれている。連続的なフレームは、立体的なイメージ・シリーズを生成する元になるイメージである。

図２は、カメラが一定の速度で移動する、すなわち、動きが、一定速度での直線平行移動である理想化された状況を示している。このケースでは、フィルムのフレームは、図示するとおり整列させられ、各フレームの右側が、符号ｎで示され、対応する左側が、符号ｎ’で示される。この理想化では、被写体、例えば、小さい家は、２つの連続的なフレーム（７および８）で完全に可視である。同一の被写体の単一の特徴、例えば、ドアの右側が、４つのフレーム（６〜９）で現れ、その被写体の一部分が、６つのフレーム（５〜１０）で現れている。

図２は、撮影されている情景が３次元であり、３次元の被写体から構成されていることを考慮に入れていない。被写体が３次元であることは、現実のカメラ・レンズがある視野を有すること、すなわち、フィルム上にキャプチャされる情景の幅が、他にも要因はあるが、とりわけ、被写体とレンズの焦点距離の間の距離に比例することと相俟って、所与の被写体を含むそれぞれの連続フレームが、その被写体に関して異なる量の情報を含むことを意味する（当然、レンズと被写体の間の距離と向きが、フレームごとに変化していない限りで）。図３Ａないし３Ｆは、家の少なくとも一部分が可視である図２のフレームのそれぞれの中に含まれる小さい家に関する異なる情報を概略で示している。図３Ａないし３Ｆは、情景があたかも奥行きの次元を有していないかのように、情景を示す。前述したとおり、情景内の現実の被写体は、３次元であり、したがって、例えば、図３Ａに示したフレームは、実際のビデオ・フィルムの中で家の左側に関する情報も含む。

また、実際のビデオ・フィルムは、普通の状況下で生じるカメラの動きが一様でなく、直線的でないために、前述した理想的な状況と異なってもいる。

図４Ａは、図２の理想化されたケース（実線）、およびより現実的なケース（破線）に関して撮影される情景とのカメラの視線の交差を概略で示している。現実的なケースでは、カメラの視線は、一部は、カメラマンの自発的なアクションによってもたらされ、また一部は、カメラマンの支配下にない多くの理由で不規則に動く。最も重要な要因の１つは、情景内の最も顕著で、かつ／または最も興味深い特徴を記録したいといった欲求である。この欲求により、例えば、レンズが、小さい家を撮影している際に下方に向けられ、大きい家を記録するために突然、引き上げられ、遠くの樹木を記録するために引き上げられることになる。また、カメラマンは、小さい家の向かい側に立ち止まって、さらなる詳細を記録し、次に、大きい家を急いで通り過ぎるが、樹木を通り過ぎた後、自分のカメラを後に向けて、大きい家の現時点で見える側を撮影する可能性がある。加えて、カメラは、平坦でない地形、疲労、強風などの要因に起因してカメラマンがカメラを安定して保持できないことにより、不意に、不規則に動かされる可能性がある。極端な例として、カメラマンがつまずく可能性さえある。また、情景内の被写体のすべてが動かないわけではない可能性があり、動く被写体を追う試みが、情景全体にわたるフレームの一様でない進行に寄与することも忘れてはならない。

図４Ｂは、レンズの動きの効果を例示するビデオ・フィルムの６つの連続的なフレームを概略で示している。フレーム２は、フレーム１にほぼ重なり、カメラが安定して保持され、情景に対してゆっくりと動かされたことを示している。フレーム２とフレーム３の間で、カメラは、突然、引き上げられており、急速に水平方向に動き、フレーム４およびフレーム５で、ゆっくりと下げられ、フレーム６で回転させられる。

本発明の方法を次に、一般的に説明し、計算上の詳細を以下に説明する。情景の一続きのイメージから立体的なイメージ・シリーズを生成することは、一連の計算ステップを実行するプロセッサ・ユニットを使用することにより、本発明の方法に従って達せられる。

第１のステップで、元のイメージ・シリーズが、必要な場合、イメージをデジタル化することができ、イメージをさらなる処理のためにプロセッサのメモリの中に格納することができるデバイスの中に入れられる。パーソナル・コンピュータを含め、一般に入手可能な機器が、イメージの処理を実行するのに使用される適切なハードウェアを提供する。関心対象の情景のイメージを含むサブセットが選択され、コンピュータ・ビジョンの分野からのアルゴリズムを使用して、シリーズの１つのイメージから隣接するイメージへのおおよその移動を記述するアフィン変換が、計算され、格納される。

サブセットの１つのイメージが、メモリから選択され、選択されたフレームにすぐ隣接するフレームから開始して、次のイメージに移り、検査されているイメージが、選択されたイメージの立体パートナーとして使用されるのに適していることを保証する所定の基準を満たすイメージが見つかるまで、サブセットの残りのイメージが検査される。探索は、両方向で実行され、各方向で調べられるイメージの数に限度が課せられて、一方で計算要件を制限し、計算上は正しいが、現実的な３次元イメージをもたらさない結果を最終的に得ることがないようにする。

適切なパートナーが見つかると、そのパートナーは、選択されたイメージ、およびそれらの間のカスケード式アフィン変換と一緒に使用されて、平面変換が計算される。この平面変換が、次に、適切な立体パートナーに適用されて、選択されたイメージと、探索で見つかった変換済みの適切なイメージとから成る立体ペアが獲得される。

現時点で、第１の立体ペアが作成されており、次に、プロセスが、サブセットのイメージのすべてに関して適切なパートナーが見つかるまで、別のイメージに関して繰り返される。

本方法の計算上の詳細は、実質的に等価の結果をもたらす代替の仕方でも実行できることが、当業者には明白であろう。例えば、前述したとおり本発明の方法を適用して、最終の立体ペアは、最初に選択されたイメージと、視差基準を適用することによって見つかったパートナーの変換済みのイメージとから成る。同様に、イメージｉとイメージｊの間のアフィン変換が、Ａ_ｉｊで表される場合、２つのイメージ間の変換は、計算のすべての段階において、その２つのイメージ間で直接に計算すること、または所望のカスケード式変換が達せられるまで、Ａ_ｉｊ、Ａ_ｊｋ、Ａ_ｋｌその他をカスケードすることにより計算することができる。カスケードすることにより計算する方法では、サブセットの中のイメージのすべての隣接ペア間におけるアフィン変換が、計算の始めに計算され、後者の使用のためにメモリの中に格納される。

本発明の方法は、いくつかの基本的な条件が満たされる限り、前述したとおり、ハンドヘルド・カメラで撮影され、前述した情景に対するカメラの一様な動きからのずれのすべてを含むイメージ・シーケンスからさえ、立体ペアを生成することができる。

それらの条件の最も重要なものは、元の２次元イメージが、シリーズの中のイメージの少なくとも一部の間で視差を許す形で記録されていなければならないことである。例えば、カメラが、レンズの光心を通る垂直軸を中心とする水平面内でペインされた場合、イメージのいずれの間にも視差が存在する可能性がなく、本発明の方法を適用することはできない。しかし、垂直軸が、レンズの中心から少しでもずれている場合、動きに平行移動成分が存在し、視差が存在する。

２つのイメージ間に存在する視差の度合いは、選択された第１のイメージの立体ペアを形成するパートナーの適切な選択を決めるのに使用される基準である。一般に、本方法は、満足のいく立体ペアをもたらす最小限の量の視差を使用する。視差の量が過度に大きい場合、結果は、目に不快であり、多大な計算上の労力と時間も要求する。ほとんどのケースで、任意の所与のイメージに対するパートナーは、４フレームないし１８フレーム離れた範囲内で見つかることが分かっており、この数は、情景に対するカメラの動きの速度に依存する。本発明の方法を適用する際、操作者は、視差基準を提供する。視差基準は、イメージの中心の、そのイメージのパートナー・イメージの位置までの水平平行移動を表すピクセル数であり、この数は、２つのイメージ間で計算されたアフィン変換から算出される。所与のイメージに対する適切な立体パートナーの探索における各ステップにおいて、アフィン変換が算出され、イメージの中心が移動したのが、視差基準より小さい場合、探索は、移動が視差パラメータに等しいか、またはそれより大きくなるまで、選択されたイメージから漸進的にさらに離れたイメージに進む。探索の許容された限度内で適切な立体パートナーが全く見つからなかった場合は、様々な計算方法を使用して、その問題を克服することができる。単に、変換が視差基準との最も近い一致を与えるイメージを使用することが、実質的にすべてのケースで満足のいく結果を与えることが分かっており、これが、本発明の好ましい実施形態において使用される方法である。

第２の条件は、元のイメージ・シーケンスの中で撮影されている被写体の動きが、イメージが記録される速度に対して速すぎてはならないことである。これが該当する場合は、連続的なイメージ間にあまりにも大きな視差が存在して、許容できる結果を得ることができない。

別の条件は、撮影されている情景内の被写体の動きに関する。このケースでは、イメージの変換は、動く被写体に関してか、または背景に関して最適であり、背景に関してである場合、被写体はぼやけ、逆の場合も同様である。被写体の動きが遅いほど、最終の立体映画において見られるこの効果が小さくなる。

本発明の方法の最適な使用のための最後の条件は、サブセットの始めと終りにおけるイメージの処理に関する。このケースでは、適切な立体ペアを見つけるのに、十分な隣接イメージが用意されていないか、または隣接イメージが全く用意されていない。実際には、この問題は、視差基準のケースに関して説明したとおりに、満足のいく形で克服される。

図５は、ハンドヘルド型市販ホーム・ビデオカメラで撮影されたビデオ・フィルムの６つの連続的なフレームからとられた一続きのイメージである。これらのイメージは、本発明の方法を使用して立体的なイメージ・シリーズにされたフィルムの通常のセグメントを表す。本発明の好ましい実施形態において使用されるアルゴリズムの一般的な論理を以下に説明し、単一の立体ペアに関する変換の結果を図６に示す。

開始点は、ｎ個のイメージを含む所与の情景Ｚ、Ｚ＝｛ｉ_１，ｉ_２，．．．ｉ_ｎ｝である。次に、イメージ登録技術アルゴリズム［適切なアルゴリズムの例については、Brown, Lisa G., A Survey of Image Registration Technology, ACM Computing Surveys, Dec. 1992, Vol. 24, No. 4, 325頁〜376頁を参照されたい］が、情景内の各イメージに適用されて、イメージ間におけるアフィン変換の集合をもたらす。

元の情景内の各イメージに対する適切な立体パートナーの探索の範囲を制限するため、ｓ＞１かつｆ＜ｎであるように数ｓおよび数ｆが選択される。部分的情景Ｚ_Ｓ＝｛ｉ_Ｓ，ｉ_Ｓ＋１，．．．ｉ_ｆ｝内のイメージに関して、立体的なペアは、カスケード式変換の平行移動要素が視差基準に等しいか、またはそれより大きくなるまで、前に算出されたアフィン変換をカスケードすることによって算出される。

この最後のステップがどのように実行されるかの例として、部分的情景Ｚ_Ｓのメンバであるイメージｉ_ｋについて見る。ｉ_ｋからイメージｉ_ｋ−１へのアフィン変換が算出される。この変換の平行移動要素が視差に等しいか、またはそれより大きい場合、ｉ_ｋとｉ_ｋ−１は、立体ペアを形成する。そうではなく、平行移動要素の符号も、視差基準の符号とは反対である場合は、ｉ_ｋからｉ_ｋ＋１へのアフィン変換が計算される。この変換の平行移動要素が視差に等しいか、またはそれより大きい場合、ｉ_ｋとｉ_ｋ＋１は、立体ペアであり、そうではない場合は、ｉ_ｋと立体ペアを形成するのに適したイメージｉ_ｋ−ｊ（ここで、ｊは、正であることも、負であることも可能である）に達するまで、計算が同一の仕方で続けられる。

選択された立体ペアのイメージに、アルゴリズムが適用されて、その２つのイメージ間の平面変換Ｔ_ｐが計算される［適切なアルゴリズムの例については、Burt, P.J. et al., Object Tracking With Moving Camera, in Proceedings IEEE Workshop on Visual Motion 1989, 2頁〜12頁を参照されたい］。

次に、ｓ−１＜ｋ＜ｆ＋１である各イメージｉ_ｋに関して、ｉ_ｋの立体パートナーである変換済みのイメージｉ_ｋ’が獲得され、ここで、０＜ｋ’＜ｎである。また、それらの間の平面変換Ｔ_ｐ（ｋ）も獲得される。この変換を使用して、イメージｋ’が再サンプリングされ、ここで、ｋとｋ’は、立体ペアである。サンプリングの結果は、関連する部分的情景Ｚ_Ｓ’＝｛ｉ_Ｓ’，_{ｉ（Ｓ＋１）}，．．．ｉ_ｆ’｝である。部分的情景と関連する部分的情景の右目と左目に対する交互の同期された投影が、３次元の錯覚を与える。

図６は、図５に示したイメージの１つに本発明の方法を適用した結果を示している。被写体追跡アルゴリズムの使用により、フレーム１０５０内のイメージに対する適切な立体パートナーは、フレーム１０５４内のイメージであると判定された。フレーム１０５４ｗは、変換後の１０５４のイメージであり、したがって、１０５０と１０５４ｗは、それぞれ、２つの目に提示される立体ペアである。図７は、図５のイメージのそれぞれに対する立体ペアを示している。

観客は、適切な目に立体的なペアのイメージを別々に送る適切なデバイスの助けを借りて、イメージ・シリーズを見る。そのような表示デバイスの例が、ステレオグラフィックス・コーポレーション（Ｓｔｅｒｅｏｇｒａｐｈｉｃｓ Ｃｏｒｐｏｒａｔｉｏｎ）によって製造されているものなどの一対のシャッター付き液晶ディスプレイ（ＬＣＤ）メガネである。このメガネは、コンピュータまたはプロジェクタと同期で機能して、他方の目に向けられたフレームが表示されている間、一方の目をブロックすることを交互に行う。投影の速度が、例えば、毎秒３０フレーム、すなわち、それぞれの目に対して毎秒１５フレームである場合、左イメージのイメージが左目によって別個に見られながら、右目によってイメージが見られる。すると、脳は、２次元のイメージのペアから３次元のイメージの印象を与えるように２つのイメージを融合する。

元の連続的なイメージのそれぞれは、本発明の方法によって生成される立体的な映画における連続的な立体的なペアの１つのメンバになり、イメージの順序が、もたらされる映画において保持されるため、元のイメージ・シーケンスとともに記録された任意のサウンド・トラックが、立体的な映画において実質的に変更されずに再生されることが可能である。

本方法は、両方向でイメージ・シーケンスを「探索」して、情景に対するカメラの不規則な動きを考慮に入れることに留意されたい。さらに、例えば、前のフレーム内に存在していなかった情報は、実質的に全く明らかにならない繰り返しのフレームを飛ばすことにより、計算時間をどのように短縮するかは、当業者には理解されよう。また、標準の編集技術を使用して、例えば、元のビデオにおいて不連続が生じている箇所で、立体的なフィルムを滑らかにすることもできる。

本発明の実施形態を例示として説明してきたが、本発明は、本発明の趣旨を逸脱することなく、または特許請求の範囲を超えることなく、例えば、異なる順序の変換および／または異なるタイプの変換を使用することにより、多くの変形形態、変更形態、および適応形態で実施できることが理解されよう。

カメラマンが一様な速度で歩きながら記録する情景の一部分を示す図である。 図１の情景がフィルム上にどのように現れるかを概略で示す図である。 図２のフレームのそれぞれの中に含まれる小さい家に関する情報を概略で示す図である。 より現実的なケースに関して撮影される情景とのカメラの視線の交差を概略で示す図である。 レンズの動きの効果を例示するビデオ・フィルムの６つの連続的なフレームを概略で示す図である。 ハンドヘルド型市販ビデオカメラで撮影されたビデオ・フィルムの連続的なフレームから取られた一続きのイメージである。 図５に示したイメージの１つに本発明の方法を適用した結果を示す図である。 図５のイメージのそれぞれに関する立体ペアを示す図である。

Claims (12)

1. 情景の連続的なイメージのシーケンスから立体的な映画として続々と表示することができる立体的なイメージ・ペアのシリーズを生成するための方法であって、
   イメージの前記シーケンスが、標準の機器を使用して標準の技術によって獲得され、前記立体的なイメージ・シリーズの各フレームの右イメージと左イメージを含むイメージ・ペアの第１のイメージが、イメージの元のシーケンスから選択され、該第１のイメージの立体パートナーが、前記元のシーケンスから選択され、かつ／またはイメージの前記元のシーケンスから選択されたイメージを変換することによって生成される方法。
2. イメージの前記シーケンスが、ビデオカメラまたはデジタル・スチールカメラで撮影されたフレームから選択される請求項１に記載の方法。
3. イメージの前記シーケンスが、デジタル化されたイメージを生成するようにスキャンされるアナログ・イメージである請求項１に記載の方法。
4. 前記アナログ・イメージが、スチールカメラまたはムービーカメラで撮影されたイメージであることが可能な請求項３に記載の方法。
5. ａ）個々のイメージを読み取ること、必要な場合、前記イメージをデジタル化すること、および前記イメージをメモリ・ユニットの中に格納することができるデバイスの使用により、情景の連続的なイメージの元のシーケンスを処理するステップと、
   ｂ）関心対象のサブセットのイメージを選択するステップと、
   ｃ）前記サブセットの中のイメージ間におけるアフィン変換の集合を計算するステップと、
   ｄ）前記シーケンスの第１の立体ペアの１つのメンバになる情景の前記サブセットのイメージのシーケンスの１つのイメージを選択するステップと、
   ｅ）前記選択されたイメージの隣接イメージから開始して、前記連続的なイメージのそれぞれへのカスケード式アフィン変換を算出し、適切な立体パートナー、すなわち、前記立体ペアの第２のメンバに変換することができるイメージが見つかるまで、視差基準を適用することにより、前記選択されたイメージの適切な立体パートナーを探索するステップと、
   ｆ）前記立体ペアのメンバ、および前記ペアの前記メンバ間の前記カスケード式アフィン変換を使用することにより、平面変換を計算するステップと、
   ｇ）前記平面変換を前記選択されたイメージに適用するステップと、
   ｈ）前記立体ペアを前記メモリ・ユニットの中に格納するステップと、
   ｉ）前記選択されたサブセットの残りのイメージの次のそれぞれのイメージに関して、ステップｅ）ないしｈ）を繰り返すステップとを含む請求項１に記載の方法。
6. 前記視差基準が、水平平行移動のピクセル数として表現される請求項４に記載の方法。
7. 前記探索が、前記選択されたイメージの両側の前記隣接するイメージの間で実行される請求項４に記載の方法。
8. 前記探索するステップが、前記選択されたイメージのいずれの側でも最大数のイメージに限定される請求項４に記載の方法。
9. 情景の連続的なイメージのシーケンスから生成された立体的なイメージ・ペアのシリーズであって、
   イメージの前記シーケンスが、標準の機器を使用して標準の技術によって獲得され、前記立体的なイメージ・シリーズの各フレームの右イメージと左イメージを含むイメージ・ペアの第１のイメージが、イメージの元のシーケンスから選択され、該第１のイメージの立体パートナーが、前記元のシーケンスから選択され、かつ／またはイメージの前記元のシーケンスから選択されたイメージを変換することによって生成されるイメージ・ペアのシリーズ。
10. 情景の連続的なイメージのシーケンスから生成された立体的なイメージ・ペアのシリーズであって、
    イメージの前記シーケンスが、請求項１ないし８の方法の使用によって獲得されるイメージ・ペアのシリーズ。
11. 請求項９または１０の立体的なイメージ・ペアのシリーズから生成された立体的な映画。
12. サウンド・トラックがさらに伴う請求項１１に記載の立体的な映画であって、
    前記サウンド・トラックが、前記立体的な映画が生成される元になる連続的なイメージのシーケンスとともに記録されたサウンド・トラックと実質的に同一である映画。