JP2007527665A - 立体観察を管理するシステムおよび方法 - Google Patents

Abstract

観察システムの幾何特性とコンテンツを生成するのに使用される幾何特性の両方に基づいて、いつ、どのように立体コンテンツを観察せしめるかを制御する助けとなる方法およびシステムが示される。実施形態の一例では、画像データをキャプチャするのに使用されるシステムの仕様を利用して、その画像コンテンツの幾何特性を判定し、このコンテンツ幾何特性を格納されている画像データと共に符号化する。次いで、このコンテンツ幾何特性データが、観察システムに適した幾何特性を判定するために表示システムによって分析される。一実施形態に従って構成されたデータは、デジタルで格納された一連のビデオ・フレームであり、画像または場面の立体的視界（stereoscopic prospective view）を表す。この視界は特定のコンテンツ幾何特性を使用して描画されており、この幾何特性はデジタルで符号化され、デジタル画像データと共に格納され、あるいはデジタル画像データに組み込まれる。

Description

本願は「SYSTEM AND METHOD FOR MANAGING STEREOSCOPIC VIEWING」という名称の２００４年２月３日出願の米国特許仮出願（整理番号ＴＧＳ−ＨＰ１）および「SYSTEM AND METHOD FOR MANAGING STEREOSCOPIC VIEWING」という名称の２００５年２月２日出願の米国特許本出願（整理番号０５４７９２−Ｐ００７ＵＳ）についての優先権を主張する。これらの開示を参照により本明細書に援用する。本願は、現在係属中であり本願譲受人に譲渡された「OPTICAL ARRANGEMENTS FOR HEAD MOUNTED DISPLAYS」という名称の２００３年１１月１８日出願の出願（米国特許出願第１０／７１５９１１号）、「MULTIPLE IMAGING ARRANGEMENTS FOR HEAD MOUNTED DISPLAYS」という名称の２００３年１１月１８日出願の出願（米国特許出願第１０／７１６１９２号）、および「SYSTEM AND METHOD FOR PROCESSING VIDEO IMAGES」という名称の２００４年９月２２日出願の出願（米国特許出願第１０／９４６９５５号）に関連する。これらの開示を参照により本明細書に援用する。

本発明は、立体画像コンテンツ（stereoscopic image content）の格納、管理、および表示を対象とし、より詳細には、画像データと、その画像データを作成するのに使用されるジオメトリ（geometry）を記述する情報との組合せを対象とする。

２次元機構（画面など）を使用して表示される画像コンテンツに、立体（stereoscopic）（左右で異なる映像を使用する）方法を使用することによって第３次元を与えて、人間の両眼視を再現することができる。人間が周囲を見るとき、両眼の間に間隔があるため、与えられた光景の見え方にわずかな違いが生じる。左眼が見るものと右眼が見るものとのディスパリティ（disparity）は、脳が対象の相対的な距離を判断する際に使用するキューとなる。脳はその異なる画像を立体融合（stereoscopic fusion）によって融合して、我々が知覚する立体的な視界（three dimensional prospective）をもたらす。

ほとんどの立体観察機構（stereoscopic viewing mechanisms）は、現実世界を見る人間の眼が成し遂げる立体融合の近似に過ぎない。現実世界では、眼は、興味対象に焦点を合わせ（調節し）、視線を収斂する（converge）（向ける）。そしてこの組合せこそが、脳が奥行きを知覚するキューとなる。しかし、ほとんどの観察システム（viewing system）では、焦点距離（画面までの距離）は固定したまま、両眼の収斂（convergence）だけを変化させて、対象が画面の手前にある、または後方にあるといった知覚をもたらす。このような差異では、観察システムの望む立体融合が成立しない可能性がある。つまり我々の脳は調節（accommodation）と収斂とが結び付いた視覚に現実世界で慣らされており、その両者があまりに異なっていると、左眼の画像と右眼の画像が単一の対象に融合せず、画面に二重像が見えてしまうことになる。

立体融合はまた、視野が人間の典型的な視覚システムより狭い場合でも成立しない可能性がある。眼は、周辺視も含め１８０度以上の視野をもたらし、極めて広い視野を提供する。対象の縁は、左右の画像を融合するための極めて重要なキューであり、狭い視野、例えばテレビでは、対象を立体空間内であまり極端なところまでもっていってしまうと、少なくとも片方の眼には対象の縁の一部が消えてしまう。このとき、眼は画面の縁を画像の一部と解釈し、やはり立体融合が成立しない。

さらに、立体データ（stereoscopic data）を扱う特定の観察システムの性質は、多くの場合、知られていないか、あるいは様々であることが知られているかのどちらかである。例えば、映画コンテンツは、異なる様々な画面サイズでユーザに見せることができるし、またそのようになされる。ヘッド・マウント・ディスプレイ（ＨＭＤ）等より最近のアプリケーションでは、焦点距離およびその他の幾何的要素は装置のタイプ間で大いに異なる。したがってコンテンツは、著しく異なる幾何特性をもつ異なる表示システムでの観察が可能となるように、収集（gathered）および描画（rendered）されなければならない。しかし異なる幾何特性を調整する際になされる妥協によって、多くの場合、眼の疲れや不快感が生じることとなり、立体効果に劇的な低減をもたらすことになる。

本発明は、観察システムの幾何特性とコンテンツを生成するのに使用される幾何特性の両方に基づいて、いつ、どのように立体コンテンツを観察せしめるかを制御する助けとなる方法およびシステムを対象とする。実施形態の一例では、画像データをキャプチャするのに使用されるシステムの仕様を利用して、その画像コンテンツの幾何特性を判定し、このコンテンツ幾何特性を格納されている画像データと共に符号化する。次いで、このコンテンツ幾何特性データが、観察システムに適した幾何特性を判定するために表示システムによって分析される。

本発明の一実施形態に従って構成されたデータは、デジタルで格納された一連のビデオ・フレームであり、画像または場面の立体的視界（stereoscopic prospective view）を表す。この視界は特定のコンテンツ幾何特性を使用して描画されており、この幾何特性はデジタルで符号化され、デジタル画像データと共に格納され、あるいはデジタル画像データに組み込まれる。

本発明の一実施形態に従って構成された表示システムの一例は、デジタル・ビデオ・ファイルを読み取ることができ、各フレームの視界に関連付けられているコンテンツ幾何特性を読み取ることができる。この表示機構の例ではさらに、異なる複数のコンテンツ幾何特性に適合するために、それ自体の観察幾何特性（viewing geometry）を変更することができる。

システムの他の例は、描画されていない３次元情報を含む画像データ用に使用することができる。このようなシステムは、観察機構の既知の観察幾何特性に適切なコンテンツ幾何特性を使用して３次元画像情報の立体的視界を描画することができる。

表示システムの他の例は、それ自体の幾何特性がわかっており、何を表示すべきか判断するために、ビデオ・ストリーム内の符号化されている幾何特性を読み取るシステムである。表示システムの観察幾何特性が与えられているが、符号化されたコンテンツ幾何特性が立体表示に不適切な場合、システムは代わりに立体効果なしにそのコンテンツを表示するはずである。

以上、本発明についての以下の詳細な説明をよりよく理解できるように、本発明の諸特徴および技術的利点についてやや大まかに示した。本発明の特許請求の範囲の主題となる、本発明の他の特徴および利点については、以下に説明する。開示した概念および特定の実施形態は、本発明と同じ目的を達成できるように他の機構を変更または設計する基礎として容易に利用できることを当業者には理解されたい。このような等価な機構は、添付の特許請求の範囲に定める本発明の趣旨および範囲から逸脱するものではないことも当業者には理解されよう。その構成および操作方法の両方について本発明の特徴であると思われる新規の特徴、ならびに他の目的および利点は、以下の説明を添付の図と併せ参照すればよりよく理解されよう。ただし各図は単に例示および説明の目的で与えられているに過ぎず、本発明の範囲の定義付けを意図するものでないことははっきりと理解されたい。

本発明をより完全に理解するために、次に以下の説明を添付の図面と併せて参照する。

立体視（Stereoscopy）は、ビデオ画面などの２次元表示機構を使用して画像を見ている観察者の奥行感（sense of depth）を再現するために使用される方法である。対象を見るとき、観察者は、単眼キュー（monoscopic cues）（焦点範囲または調節、大きさ、遠近感、遮蔽（occlusion）、陰影、輝度など）および両眼キュー（binocular cues）（よせ運動（vergence）およびディスパリティ）の両方によって奥行きを知覚する。視差（parallax）は、その対象に焦点を合わせる際どのくらい両眼が収斂または開散するかの尺度である。ディスパリティとは、画像が網膜上に現れる際の、左右の視野の間でのその対象の画像における相対的な差異である。表示された画像のほとんどは、単眼視覚キューを再現することができる。両眼キューを再現するために、立体方法は右眼と左眼に異なる画像を示す。視差（Parallax）は、右眼と左眼によって見られる（対象に奥行きがあるように見える）焦点間の水平距離（２次元表示装置画面の平面内での）の尺度である。すなわち視差はディスパリティと直接相関している。

図１は、本発明の一実施形態に従って立体画像を見る幾何特性を示したものである。図１で、観察者１０１は、コンピュータのモニタ画面１０２に表示された画像を見ている。通常の画像表示装置であれば、モニタ１０２上に単一の２次元画像が表示され、奥行知覚（ｚ軸に沿った観察者からの距離）はすべて単眼キューに委ねられる。しかし立体技術を使用すると、異なる画像が各眼に示されると奥行知覚を与える両眼キューを観察者１０１に与えることができる。システム１００などの表示システムにおける従来の方法では、画像を選択的に通過させる眼鏡（図示せず）あるいは他の同様な手段によってこれを達成するはずである。典型的な例は、それぞれの眼に対して異なる偏光をもつ偏光フィルタ、あるいは画面上の画像が左眼用かそれとも右眼用かに応じて選択的に開閉するシャッタ眼鏡である。ヘッド・マウント・ディスプレイ（ＨＭＤ）も立体観察に多く使用される。一部のＨＭＤでは単一画面を利用し、その上で偏光、シャッタ、あるいはそれぞれの眼に異なる画像を導く異なる光路を使用する。また他のＨＭＤでは、左眼用と右眼用に独立した表示装置を含み、したがって各画面に適切なコンテンツを復号するだけでよく、切替え方法は利用しない。他の立体観察機構は自動立体システムを含み、この場合、ユーザはいかなるタイプの視覚装置も装着する必要はないが、代わりにレンチキュラー・レンズあるいは他の同様な手段を使用して、それぞれの眼に異なる画像を投影することが必要となる。本発明の諸実施形態は、それぞれの眼に異なる画像を表示する特定の手段に限定されることはなく、むしろ適切であればどの方法でも使用できるように適合することができる。表示機構および表示方法の他の例は、上記で識別された同時係属の、本願譲受人に譲渡された出願に見出すことができ、その内容を参考として援用する。

図１には、観察者１０１によって知覚される、対象の３つの別個の奥行きを示してある。ゼロ奥行きをもつ対象は、モニタ１０２のｘｙ平面にあると観察者１０１に知覚されるように意図されている。立体方法は、左眼用の画像を右眼用の画像と位置を一致させることによってこの奥行きに両眼キューを与え、ｘ軸およびｙ軸に対象ゼロの焦点間の距離を作る。線１１０ａおよび１１０ｂは、それぞれの眼の焦点の線を表し、それぞれの眼の中心とその眼の焦点とを結んでいる。これらの線は位置の一致する画像の位置を表す点１１０に届く。図１の観察幾何特性では、左眼用の画像と右眼用の画像は０度の視差をもつと言われる。

観察者１０１に、ｘｙ平面より手前または後方にあると知覚されるように意図された対象は、図２に示す画像などの画像を使用して観察者１０１に示される。左の画像２０１は右の画像２０２からわずかに位置をずらしてある。右眼に右の画像２０１が示され、左眼に左の画像２０１が示される場合、対象はモニタ１０２より後方にあるように見える。右眼に左の画像２０１が示され、左眼に右の画像２０２が示される場合、対象はモニタ１０２より手前にあるように見える。図１に戻り、これらの異なって知覚される奥行きの焦点の線を見てみる。モニタ１０１より後方にあると知覚されるように意図された対象に、正視差をもつ画像が与えられ、これのもっとも極端な例は無限遠にある対象である。焦点線１２０ａは左眼１０３の中心と焦点１２０ｂを結び、焦点線１２０ｃは右眼１０４と焦点１２０ｄを結ぶ。焦点線１２０ａおよび１２０ｂは平行であり、観察者１０１はその対象をモニタ１０２の後方無限遠にあると知覚することになる。画面１０２より手前の点１３０ｅで知覚されることを意図された対象は、負視差をもつ。焦点線１３０ａは左眼１０３の中心、点１３０ｅ、および焦点１３０ｂを結ぶ。焦点線１３０ｃは右１０４の中心、点１３０ｅ、および焦点１３０ｄを結ぶ。

どちらの場合も、２つの画像は眼から画面までのおおよそ同じ距離に保たれ、したがって焦点に変化はない。両眼キューは、眼１０３が見る画像と眼１０４が見る画像との差異（ディスパリティ）、およびそれらの視差の量および表れ（sign）（画像が反転しているかどうか）によって観察者１０１に与えられる。しかし、上記で論じたように、よせ運動の量（視差の大きさ）が大きすぎる場合、調節（焦点）が欠落することにより立体融合が成立しなくなる。典型的な適用例では、ゼロに対してプラスまたはマイナス１．５度の合計視差（それぞれ線１１０ａおよび線１１０ｂ）が、ほとんどの観察者にとって心地よく、立体融合の不成立を引き起こすことはない。素早く動く対象が画面から出てくるためには、この関係をさらに推し進めることができ、場合によっては、対象を観察者から２０ｃｍ以内に置くこともある。

本発明の諸実施形態は、立体現象の性質を、典型的な方法よりもさらに徹底して解明し、どのようにして立体情報が知覚されるかについてのより完全な記述を活用する。立体コンテンツは通常、平行、収斂方向（やや内側に向き合わせて）、または開散方向（やや外側に向けて）に配置された２台のカメラを使用して作成される。平行カメラは、離れた対象を両カメラのレンズ間の距離と同じディスパリティで撮像し、水平線を見る際の現実世界の幾何特性の近似として有用である。収斂カメラは、離れた対象を負視差で撮像する（対象の左右の画像が入れ替わる）。開散カメラは、レンズ間の距離より離れている対象を撮像する。カメラの異なる配置は、コンテンツ制作者が創造的に選択するものであり、場面ごとに変わることもあれば、一場面内で動的に変わることもある。そのいずれもが、ある範囲（手前、画面、または遠方）の立体効果を強調する、すなわちコンテンツ制作者にとって関心のある領域を強調する手段を提供する。

通常、左眼用の画像と右眼用の画像は同じ視野を覆う。しかし、より極端な適用例では、左眼と右眼の間で一部だけを重複させることが可能である。視野を様々にすることにより、一部の対象を片眼だけで見ることが可能になる。多くの場合、これは現実世界では典型的なことであり、例えば、広大な視野では、右眼に見えない周辺の対象を左眼では見ていることがある。立体方法を用いて現実世界に近づこうとするとき、視野を様々にすることで全体的な経験を強化することができる。例えば、周辺の対象における単眼奥行キューを全体的な奥行知覚に役立てることができる。しかし視野の縁（例えば映画劇場の画面の縁）が通常の知覚ほどの幅をもたない場合、その縁に重なる対象は画面より後方にあるように見えてしまう（これは「窓効果（window effect）」として知られる。ある対象が一部しか見えない場合、その対象は窓の外側にあるはずである）。しかし、この対象が画面より手前にあるように意図されていたのであれば、異なるキューにより、立体融合が成立しなくなる。

立体効果の重要な側面は、左眼用の画像と右眼用の画像を別々にすることであり、それにより撮像された対象が、観察者が画面から離れている距離の百分比で、画面より手前に（あるいは画面より奥に）くるように見えるようになる。しかし、観察者がカメラの焦点距離と同じ距離にいない場合、そのユーザに対する効果はコンテンツ制作者が意図したのとは異なることになる。これにより、立体融合の不成立が生じる可能性がある。その差異の度合いとそれらが融合不成立に及ぼす効果は、表示される画像のサイズが元のコンテンツよりおそらく小さい図１の様々な幾何特性を、および表示される画像のサイズが元のコンテンツよりおそらく大きい図３の幾何特性を比べることによって理解できる。

図１では、観察者１０１の瞳孔間距離（interpupilar distance）（ＩＰＤ）１０５は６ｃｍであり、観察者はモニタ１０２（幅６０ｃｍ）から距離１０６（６０ｃｍ）離れて見ている。図３は、映画劇場で立体画像を見る幾何特性が示してある。図３では、観察者１０１のＩＰＤは６ｃｍであるが、映画画面３０２からの視距離は３０６（８００ｃｍ）、画面幅は６００ｃｍである。

表１には、図１および図３の幾何特性における典型的な視差値を画面サイズの百分比で示してある。

表１によれば、対象が画面上に（at screen depth）あるように意図されている場合、図１および図３のどちらも、必ず、視差はゼロである。しかし、対象が無限遠にある（眼がまっすぐ正面に焦点を当てている）場合、図１のモニタでは２つの画像は６ｃｍ離れていて、モニタ幅の１０％であるが、この同じ６ｃｍが映画画面では１％でしかない。したがってモニタ１０２用に作成された典型的なコンテンツ（１０％の視差をもつ）が画面３０２に映し出されることになった場合（その場合１０％は瞳孔間距離よりはるかに広い）、観察者１０１の眼は、画像を融合するために相当開散を強いられるはずであり、その結果、ほとんど間違いなく立体融合は成立しない。

コンテンツは通常、１度しか生成されない。立体効果を最大限にするために、コンテンツ生成中に、意図する観察環境に基づいた想定が行われる。映画館が意図されている場合、無限遠にある対象は、６ｃｍ／６００ｃｍのディスパリティすなわち画面幅の１％でフィルムに撮影される（これは一例であり、本発明の諸実施形態は任意の特定のコンテンツ作成方法にのみ限られるわけではない）。このコンテンツが図１のモニタ１０２に映し出される場合、無限遠にある対象は、やはり左の画像と右の画像とで画面幅の１％にあたるディスパリティをもつことになる。しかしモニタ１０２上では、１％のディスパリティとは６０ｃｍ×０．０１＝０．６ｃｍである。左と右の画像で０．６ｃｍの分離では、ほとんど立体効果を生み出すことはなく、コンテンツ制作者の意図はもはや失われている。逆に、コンテンツがモニタ１０２での観察を前提に作成されている場合、無限遠にある対象は左と右の映像で６ｃｍ、すなわち１０％の分離をもつはずである。このコンテンツが代わりに画面３０２に映し出されることになった場合、６００ｃｍ×０．１０＝６０ｃｍの分離が生じ、その結果、眼は大いに開散することになり融合は成立しなくなる。

適用例の中には、１度（degree）まで開散の使用を試みて（すなわち両眼が実際に互いから離れた向きに視線を向ける）、対象を「無限の彼方に」置くものもある。かかるコンテンツは、モニタ１０２上ではモニタ幅の１２％まで可能なはずであるが、これは映画画面３０２の３．３％でしかない。従来の通念では、よせ運動をプラスまたはマイナス１．５度以内に維持することによって、多種多様な画面で映し出すことのできるコンテンツの生成が求められる。このような間口の制約は、多くの場合、立体効果の試みを妨げてしまう。さらに、「安全な」数字であれば融合の不成立は防げるという保証はない。私がモニタ１０２の幾何特性での観察を想定する場合、例えば、最大「画面より後方」効果を生成するためにＩＰＤを使用することができ、画面より手前へ（out of screen）の最大値として観察者から２０ｃｍを使用することができる。図１の幾何特性では、２０ｃｍは、モニタ１０２の２０％にあたる負視差を与える（６０ｃｍ×０．２＝１２ｃｍ視差であり、この場合左の画像はその右に、右の画像はその左にある）。コンテンツ作者が図１の幾何特性を尊重する場合、２０ｃｍという限度に達するのにわざわざ３８％の視差まで進むことが許容可能となる図２の幾何特性では、かなりの量の「画面より手前へ」の立体効果が犠牲とならざるを得ない。その代わりにコンテンツ作者が図３の幾何特性を尊重する場合、かなりの量の「画面より奥へ」の立体効果が図１の幾何特性では犠牲とならざるを得ない。両者に合わせてコンテンツを設計しようとすれば、利用可能な立体効果を相当に制限してしまい、多くの場合、それらを作成する価値がなくなってしまう。

このような問題が生じるのは、主に、ＩＰＤは静的定数でありながら観察幾何特性は大幅に変更できるためである。このことはコンテンツ制作者の不満の主要な源である。というのも、彼らはあり得るすべての観察環境で見ることが可能な立体効果に自らを封じ込めなければならないからである。すべての環境においてそのコンテンツを見ることができるようにする場合、あり得る環境が様々であればあるほど、可能な立体効果はますます限られていく。見る角度が様々であることを考慮すると、さらに厄介なことになる。本明細書で使用されている例はすべて９０度近くの視野角を前提としている。現実世界では、鋭角で対象を見ると、異なる奥行きにあるすべての対象間で相対角度が変化する。しかし画面を見ているときは、視野角がどうであれ、視差は変化しない。したがってコンテンツ制作者は、あり得るすべての視野角から見ることのできるものにだけ、立体効果をさらに制限しなければならない。多くの場合、あり得る観察環境は、極めて様々な幾何特性をもつので、立体効果はまったく不可能である。

念を入れるのであれば、（例えば）映画およびＤＶＤでのリリースの両方をターゲットとするコンテンツ作者は、画面より奥へと画面より手前への両方の最大値について、極めて安全な設定を選ばなければならないはずである。一方で、好ましい会場に合わせて作成すると、一部の効果をその他の幾何特性では支持し得なくさせることになる。例えば、高速で動く対象を３８％の視差で画面より手前にもってくることは、映画ではうまくいくが、モニタでは対象を観察者の間近に動かすことになり、観察者を寄り目にしてしまう。本発明の諸実施形態は、コンテンツ幾何特性と観察幾何特性との違いが立体効果を重荷にしてしまいかねないことを認識している。その違いが極端な場合、唯一の解決策は、立体効果をあっさりと捨ててしまうことである。あるいは、本発明の諸実施形態では、コンテンツ幾何特性の要件をかなえるために観察幾何特性を改変することができる（これは、例えば、ヘッド・マウント・ディスプレイ（ＨＭＤ）で、観察光学を変えることによって可能である）。幾何特性間の違いにうまく適合するために、本発明の諸実施形態は、コンテンツを作成するのに使用される幾何特性とコンテンツを定義するデータとを組み合わせる。

これを行うために、本発明の諸実施形態はさらにコンテンツを２つの一般的なカテゴリ、すなわち描画（rendered）コンテンツと原（native）コンテンツに分ける。描画コンテンツは、ｘｙ平面上に投影されているコンテンツである。この典型的な例は、テレビ番組、映画、あるいは多くのＤＶＤで使用されている方式であるＭＰＥＧ−ＩＩ（Motion Pictures Expert Group - version II encoding scheme）である。描画コンテンツでは、奥行（またはｚ軸）情報が左眼の画像と右眼の画像とのディスパリティおよび視差に存在する。一方、原コンテンツは、利用可能な３次元情報を十分もつコンテンツである。この例は、ある種のＭＰＥＧ−ＩＶコンテンツ（これは３次元記述を含むことができる）、あるいはゲームなど仮想環境のコンピュータ表示である。

描画コンテンツについては、本発明の諸実施形態は、画像を記述するデータにコンテンツ作者の意図する幾何特性を含める。この情報は、描画時にキャプチャすることもでき、また描画を終えた後でインスペクション、ソフトウェアまたは他の手段によって判定することもできる。これが生じうるのは、コンテンツをキャプチャしたとき（例えば、カメラ技術を使用して）、または映像が作成されるとき（例えば、３Ｄモデルの描画中）である。従来のカメラ技術を使用して生成されたコンテンツについては、例えば、コンテンツ幾何特性に、左のカメラ・レンズと右のカメラ・レンズとの間の距離、カメラ・レンズの収斂（または開散）角、両カメラの焦点距離、両レンズの視野、視野の重複を含めることができる。キャプチャされたコンテンツは個別に縦横比および解像度を含む。この同じ情報を、仮想カメラを使用するコンピュータ描画コンテンツ用に格納することもできる。

このような実施形態は、似たようなものと思われていた観察幾何特性が大いに異なっていたと判明したとき、とても有用であり得る。例えば、ＩＭＡＸ画面は、対角線長が５０フィート（１５．２５ｍ）未満から優に１２５フィート（３８．１２ｍ）超まで様々に及ぶ。したがって、すべてのＩＭＡＸ劇場用に単一バージョンの立体フィルムを作成することは理想的ではない。本発明の諸実施形態を使用すれば、例えば投影機を収斂させることによってその画面上の有効なディスパリティを変更する投影幾何特性を例えば変更することによって、既知の表示幾何特性を使用して各劇場ごとにより適切なコンテンツを作ることができる。

さらに、映画（または他のコンテンツ）のコンテンツ幾何特性を場面ごとに、あるいはさらに一場面内で動的に変更することが多くの場合好ましい。これは、多くの場合、利用可能な効果の間口を狭めると管理不可能となるが、本発明の諸実施形態ではコンテンツ幾何特性と観察幾何特性の関連を認識し、両方についての知識を使用してこの動的な立体コンテンツの処理をより効率的に管理する。これらの判定を行うのに必要な情報は、上記で説明したようにキャプチャすることもでき、また各場面、さらには各フレームの画像データに含むこともできる。立体効果を動的に管理することが可能になる。

描画データに幾何特性を格納する方法は数多くある。本発明の諸実施形態は、どの特定の方法に限定されるものではなく、むしろコンテンツ・データにコンテンツ幾何特性をうまく組み込むことのできるどの方法をも使用することができる。例えば、従来のカメラ技術では、各カメラ間距離、左カメラの焦点距離、右カメラの焦点距離、視野、カメラ間の角度（並行、収斂、開散）、視野の重複、あるいはキャプチャ環境の他の幾何特性記述をデジタル画像データに組み込むことができ、現在利用可能であり当業者に知られる異なるいくつかの方法およびフォーマットのいずれかに合致するように適合することのできる数字を使用して表すことができる。データの量を最小化することになった場合、例えば焦点距離対視野の比率等のより小さい記述が、おそらく格納するのに十分な情報であろう。にもかかわらず、各数字には、例えば（「左焦点距離」、３００ｃｍ）のように、それが記述する属性をタグ付けすることができる。さらに、属性の順序および／または尺度を一定にできるように、基準を確立することができ、その場合、タグと記述子は必要としなくてよい。したがって、一部の実施形態では、これらのフォーマットのどれでも単なる一連の数字として格納することができる。

一部の実施形態では、本発明の数多くの態様は、周知の読出し可能な方法でコンテンツ・ストリームの内部に単に一組の数字を格納するというものである。これについていくつか例をあげる。
１．標準符号化技術を使用してＴＶ信号の帰線区間（ここには、例えば字幕が格納されている）内に。
２．非圧縮ビデオの側波帯情報内、例えばヘッダまたはトレイラ内に。このヘッダまたはトレイラは、フィルム全体のでも可能であるし、また各場面もしくは各ビデオ・フレームのヘッダまたはトレイラでも可能である。
３．圧縮ビデオのヘッダ情報内、例えばＭＰＥＧヘッダのユーザ・データ・セクション内に。
４．透かし内、すなわちビデオそれ自体のコンテンツ内に。これは、圧縮／復元サイクルならびにＤＡＤ（digital to analog to digital）変換を経ても消えないやり方で行うことができる。

本発明の諸実施形態は、これらの方法に限定されるものではなく、むしろコンテンツ幾何特性と観察幾何特性との違いを分析するのに必要な情報を適切に符号化するどの方法または機能をも使用することができる。

従来のカメラ技術を使用するように適合された実施形態の一例では、３つの数字（カメラ間距離、焦点距離、およびカメラ間の角度）がビデオの全フレームに格納される。これにより、コンテンツが映し出されている間でも、基本的な幾何特性をより容易に読み出し変更することが可能になる。また幾何特性を、ビデオ・ストリーム以前に情報を読み取らなくても、ビデオのどの時点（例えば、ユーザがその映画を途中から開始した場合）でも取り出すことも可能になる。その実施形態によれば、３つの数字は単なる透かし内に単一バイトで格納される。さらに、データの読出しに時間がかからないように、その透かしはビデオの所定の領域内に置かれている。この場合、その３バイトは、ビデオの最終８ラインのブルー・チャネルでの低周波数変動として表される。これにより、そのデータはＭＰＥＧおよび他の符号化方式の影響を受けないことが可能になる。しかし、本発明はデータの格納の仕方に限定されるものではない。

上記で述べた記述の符号化および例はすべて、原コンテンツにも利用することができる。しかし、原コンテンツは、定義済みの世界観の範囲が既にコンテンツ内に組み込まれているので、システムの柔軟性に著しい増加をもたらすことができる。原コンテンツを処理することのできるシステムは、通常はコンテンツそれ自体を描画し、したがってコンテンツ幾何特性を改変する機能を有することができる。この場合、本発明の諸実施形態は、観察幾何特性に適合するように立体画像を描画することができる。代替実施形態では、原コンテンツそれ自体の内に立体効果に対する創造的制御を置くことができる。すなわち、仮想カメラ位置に相当するものをコンテンツ内に記録することができ、これらは観察幾何特性への変換の際に参照として役立てることができる。観察幾何特性に合わせて描画される原コンテンツは、コンテンツの作成意図をＰＣからＴＶ、ホーム・シアター、映画劇場、大画面フォーマットに至る複数の観察シナリオにわたって再生できるので、本発明の多くの態様を特に活用することができる。代替実施形態では、ユーザはコンテンツ幾何特性を操り（例えば視点を選択する）、立体効果の量について個別に選択することができる。

以上、本発明およびその利点について詳細に説明してきたが、添付の特許請求の範囲によって定義される本発明の趣旨および範囲から逸脱することなく、それに様々な変更、置換、改変が行えることを理解されたい。さらに、本適用例の範囲は、本明細書で論じた、プロセス、設備、加工、組成物、手段、方法およびステップの特定の実施形態に限定されることが意図されてはいない。当業者であれば本発明の開示から容易に理解するように、本明細書で論じた対応する実施形態と本質的に同じ機能を実施する、または本質的に同じ結果を達成する、現に存在する、あるいは今後開発されるであろうプロセス、設備、加工、組成物、手段、方法またはステップは本発明に従って利用することができる。したがって、添付の特許請求の範囲は、かかるプロセス、設備、加工、組成物、手段、方法またはステップをその範囲内に含むものとする。

本発明の一実施形態で利用される幾何特性を示す図である。 本発明の一実施形態における画像の表示を示す図である。 本発明の一実施形態で利用される幾何特性を示す図である。

Claims (24)

1. 少なくとも１つの画像を保存する方法であって、
   前記画像をコンピュータ可読媒体内に格納するステップと、
   前記格納された画像についてコンテンツ幾何特性を判定するステップと、
   前記コンテンツ幾何特性を符号化するステップおよび前記画像と共にそれを格納するステップとを含む、方法。
2. 前記コンテンツ幾何特性を、前記画像を生成するシステムの構成から手動でキャプチャするステップをさらに含む、請求項１に記載の方法。
3. 前記コンテンツ幾何特性を、前記画像が生成される際に自動的にキャプチャするステップをさらに含む、請求項１に記載の方法。
4. 前記画像が、ビデオ・データを含む一連の画像フレームである、請求項１に記載の方法。
5. 前記コンテンツ幾何特性がすべての前記画像フレームに適用され、前記コンテンツ幾何特性がただ１つの前記フレームに格納される、請求項４に記載の方法。
6. 各前記フレームが独自のコンテンツ幾何特性を有し、各前記フレームのコンテンツ幾何特性がその各フレームと共に格納される、請求項４に記載の方法。
7. 前記コンテンツ幾何特性を周期的に再判定するステップと、
   前記コンテンツ幾何特性が変更されるときにだけ前記コンテンツ幾何特性を格納するステップとをさらに含む、請求項４に記載の方法。
8. 前記コンテンツ幾何特性が透かしとして格納される、請求項１に記載の方法。
9. 前記コンテンツ幾何特性が、画面寸法、縦横比、視距離、解像度、左右の視野の大きさ、左右の視野の重複、カメラ収斂、あるいはカメラ開散のうちの少なくとも１つを含む、請求項１に記載の方法。
10. 前記画像データが３次元画像情報を含むデータである、請求項１に記載の方法。
11. 前記データが少なくとも１つの仮想視点を含み、前記コンテンツ幾何特性が前記少なくとも１つの視界に関連付けられている、請求項１０に記載の方法。
12. 立体画像を表示する方法であって、
    立体画像データを受け取るステップであって、前記画像データが前記立体画像データのコンテンツ幾何特性を記述する情報を含むステップと、
    前記コンテンツ幾何特性を表示システムの観察幾何特性に照らして分析するステップと、
    前記データの表示の仕方を改変するステップとを含む方法。
13. 前記画像がビデオ・ファイルの一連のフレームの１つである、請求項１２に記載の方法。
14. 前記画像の立体性質を取り除くステップをさらに含む、請求項１２に記載の方法。
15. 前記取り除くステップが、前記コンテンツ幾何特性と前記観察幾何特性とが十分に一致しないために実施される、請求項１４に記載の方法。
16. 前記表示ステップが、左眼の画像または右眼の画像の１つを単眼表示として使用するステップを含む、請求項１４に記載の方法。
17. 前記改変が、前記観察幾何特性を改変して前記コンテンツ幾何特性を調節するステップを含む、請求項１２に記載の方法。
18. 前記表示システムを制御するステップをさらに含む、請求項１２に記載の方法。
19. コンピュータ可読媒体に格納されたコンピュータ可読符号であって、
    画像を定義する符号と、
    前記画像の立体描画に関連付けられたコンテンツ幾何特性を指定する符号とを含む符号。
20. それぞれがビデオ・ファイルの一部である、複数の画像を定義する符号をさらに含み、前記コンテンツ幾何特性が前記ビデオ・ファイルのすべてに適用可能である、請求項１９に記載のコンピュータ可読符号。
21. 各部分がビデオ・フレームを含み、コンピュータ可読符号が各前記フレームに独自のコンテンツ幾何特性を詳述する符号をさらに含む、請求項２０に記載のコンピュータ可読符号。
22. 前記コンテンツ幾何特性を詳述する前記符号がコンテンツ・ストリームに組み込まれる、請求項１９に記載のコンピュータ可読符号。
23. 前記コンテンツ幾何特性を詳述する前記符号が垂直帰線区間内にある、請求項１９に記載のコンピュータ可読符号。
24. 前記コンテンツ幾何特性を詳述する符号が標準圧縮アルゴリズムの制御情報内に組み込まれる、請求項１９に記載のコンピュータ可読符号。

Images