JP2006067571A - 空間および時間符号化を使用して複数の階層化ビデオ・ストリームの圧縮および圧縮解除を行うためのシステムおよびプロセス - Google Patents

Abstract

【課題】実質的に同じ動的シーンを異なる視点から表す複数のビデオ・ストリームの圧縮および圧縮解除するためのシステムおよびプロセスを提供すること。
【解決手段】複数のストリームの同時発生の複数のビデオ・フレームからなる各集合内の各フレームは、少なくとも２つの層−主層および境界層−により表される。主層の圧縮は、最初に同時発生の複数のフレームからなる各集合内のそれらの層の１つまたは複数をキー・フレームとして指定することを伴う。時間系列順序の同時発生の複数のフレームからなる各集合について、各キー・フレームの主層は、フレーム間圧縮法を使用して圧縮される。さらに、考察対象のフレーム集合内の各非キー・フレームの主層は、空間予測圧縮法を使用して圧縮される。最後に、現在のフレーム集合内の各フレームの境界層は、フレーム内圧縮法を使用してそれぞれ圧縮される。圧縮解除は、一般に、圧縮プロセスの逆である。
【選択図】図３

Description

本発明は、ビデオの圧縮および圧縮解除に関するものであり、より具体的には、空間および時間符号化を使用して複数の階層化ビデオ・ストリームの圧縮および圧縮解除を行うためのシステムおよびプロセスに関するものである。

ここ数年間、ＴＶコマーシャルおよび長編映画の視聴者は、時間を止めてカメラ視点を変えたと錯覚させるために使用される「フリーズ・フレーム」効果を見てきた。最初期のコマーシャルは、フィルムをベースにしたシステムを使用して制作されており、レールにそって配列された異なるスチル・カメラ間を素早くジャンプし、フリーズされた細切れの時間を通して動きの錯覚を与えていた。

それが、最初に出現したとき、この効果は斬新であり、目を見張らせるようなものであって、すぐに、多くの作品に模倣されたが、そのうちの最も有名なものは、おそらく映画「マトリックス（The Matrix）」で見られた「マシンガン撮影（bullet time）」効果であろう。残念なことに、この効果は１回限りの予め計画が立てられたものである。視点の軌跡は、前もって計画され、所望の補間された光景を作り出すのに多くの工数が費やされる。新しいシステムほど、ビデオ・カメラ配列に基づいているが、それでも、ソフトウェアによる光景補間を回避するために何台ものカメラが用意されることに依存している。

そのため、既存のシステムでは、ユーザが動的な画像ベースのシーン（dynamic image-based scene）を見ながら所望の視点に対話形式で変更することができない。過去の画像ベース・レンダリング（ＩＢＲ）に関する作業のほとんどは、光線空間法［５］およびルミグラフ法［３］の最もよく知られている２つ手法を使用する、静的シーンのレンダリングを含んでいる。多数のサンプリング画像を使用する高品質レンダリングの成功は、この分野における大きな一連の作品の創作意欲をかきたてた。この画期的な作品の刺激的な潜在的拡張の１つは、ビデオを見ながら対話形式で視点を操作することを含んでいる。ユーザがビデオの視点を対話形式で制御する能力は、視覚体験を大幅に拡張し、新視点瞬時ビデオ再生（new viewpoint instant replays）、ドラマにおける視点を切り替え、「フリーズ・フレーム」の視覚効果を思いのままに生成する、などの多様な応用を可能にする。

しかし、ＩＢＲを動的シーンに拡張することは、とりわけ、それだけたくさんのカメラを同期させて画像を取得するのが困難である（さらにコストもかかる）ために、自明なことではない。動的シーンをキャプチャする最初期の試みの１つは、Ｋａｎａｄｅらの仮想化現実システム（Virtualized Reality system）［４］であったが、これはメートルのジオデシック・ドーム（5-meter geodesic dome）の周囲に配列された５１台のカメラを必要とした。Ｃａｒｒａｎｚａら［１］は、３Ｄの人体の動きをキャプチャするために、部屋の周りに中心を向くように分散させた７台の同期カメラを使用した。Ｙａｎｇら［７］は、動的シーンをキャプチャするために、８×８グリッドのカメラ（それぞれ３２０×２４０）を設計した。

ビデオ・データを伝送または格納用に使用可能なサイズに圧縮すること、その後、その圧縮されたデータを、満足できる品質で効率よく、短時間で圧縮解除するということ、も難題である。ビデオ・データのキャプチャにカメラを数台しか使用しない場合でも、データ量は極めて大きいため、圧縮は必要である（例えば、１５ｆｐｓの速度の８台のカメラで毎秒８００ＭＢのオーダーである）。本質的に、関係するデータ量が大きすぎて、現在の標準的な帯域幅の資源では、コンピュータ・ネットワーク経由で効率よく送信することはできない。さらに、データの格納は、現在普及している記憶媒体を使用した場合には問題がある。例えば、現行のＤＶＤの格納能力は簡単に超えられることであろう。そこで、配信を実用的なものとするために、ビデオ・データの圧縮が必要である。さらに、この圧縮スキームは、視聴者選択視点からキャプチャされたシーンのレンダリングをサポートするために、そのデータが、実質的にリアルタイムでデータを復元されることを可能にしなければならない。現在のビデオ圧縮法を採用できるが、ビデオ・データの配信またはその実質的にリアルタイムの圧縮解除を容易にするために必要な圧縮比を得るには効率はまだ十分でない。複数のカメラからのビデオ・ストリームを圧縮する最近の試みの１つは、動的光照射野（dynamic light fields）を格納するための概念実証（proofing of concept）に関連している。つまり、Ｗｉｌｂｕｒｎら［６］では、６台のビデオ・カメラを同期させ、すべての画像データをリアルタイムで圧縮し格納することが可能であることを実証した。Ｗｉｌｂｕｒｎらはその後１２８台のカメラを連結した。Ｃｈａｎｇら［２］は、光照射野符号化方式（light field encoding approach）を使用して複数のカメラからのビデオ・ストリームを圧縮するもう１つの例である。他の試みでは、Ｚｉｅｇｌｅｒら［８］は、特にストリーム間と同じ動的シーンを表す複数のビデオ・ストリームに固有の高い冗長度を利用して、テキスト・ドメイン方式を使用してデータを圧縮した。

前の段落では、本明細書の残り部分とともに、説明の中で、角括弧内に示されている数値指示子により識別される様々な個別の刊行物を引用していることに留意されたい。例えば、このような引用は、「参照［１］」または単に「［１］」と引用することにより識別することができる。それぞれの指示子に対応する刊行物を含む参考文献の一覧は、「発明を実施するための最良の形態」の節の末尾に記載されている。

米国特許出願１０／８８０，７７４号 米国特許出願１０／８７９，３２７号 米国特許出願１０／８７９，２３５号 米国特許出願１０／９１０，０８８号 Buehler, C., M. Bosse, L. McMillan, S. Gortler, and M. Cohen, Unstructured lumigraph rendering, Proceedings of SIGGRAPH 2001, pp. 425-432. Carceroni, R. L., and K. Kutulakos, Multi-view scene capture by surfel sampling: From video streams to non-rigid 3D motion, shape and reflectance, Eighth International Conference on Computer Vision, vol. II, pp. 60-67. Carranza, J., C. Theobalt, M. Magnor, and H.-P. Seidel, Free-viewpoint video of human actors, ACM Transactions on Graphics, vol. 22, no. 3, pp. 569-577. Chang, C.-L., X. Zhu, P. Ramanathan, and B. Girod, Inter-view wavelet compression of light fields with disparity-compensated lifting, SPIE Visual Communications and Image Processing, 2003, Invited Paper. Chuang, Y. -Y., B. Curless, D. Salesin, and R. Szeliski, A Bayesian approach to digital matting, Conf on Comp. Vision and Pattern Recognition, 2001, vol. II, pp. 264-271. Debevec, P.E., C. J. Taylor, and J. Malik, Modeling and rendering architecture from photographs: A hybrid geometry- and image-based approach, Computer Graphics (SIGGRAPH' 96), August 1996, pp. 11-20. Debevec, P.E., Y. Yu, and G. Borshukov, Efficient view dependent image-based rendering with projective texture mapping, Ninth Eurographics Rendering Workshop, Vienna, Austria, June 1998. Gortler, S.J., R. Grzeszczuk, R. Szeliski, and M. F. Cohen, The lumigraph, ACMSIGGRAPH Comp. Graphics Proceedings, Annual Conference Series, pages 43-54. Hall-Holt, 0., and S. Rusinkiewic4 Stripe boundary codes for real-time structured-light range scanning of moving objects, Eighth Int'l. Conff on Comp. Vision, vol. II, pp. 359-366. Heigl, B., R. Koch, M. Pollefeys, J. Denzler, L. Van Gool, Plenoptic modeling and rendering from image sequences taken by hand-held camera, DAGM'99, pp. 94-101. Kanade, T., P. W. Rander, and P. J. Narayanan, Virtualized reality: constructing virtual worlds from real scenes, IEEE MultiMedia Magazine, Jan-March 1997, vol. 1, no. 1, pp. 34-47. Levoy, M. and P. Hanrahan, Light field rendering, ACMSIGGRAPHComp. Graphics Proceedings, Annual Conference Series, August 1996, pages 31-42. Pulli, K., M. Cohen, T. Duchamp, H. Hoppe, L. Shapiro, and W. Stuetzle, View-based rendering, Eurographics Workshop on Rendering, 1997, pp. 23-34. Scharstein, D., and R. Szeliski, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, Int'l. J. of Comp. Vision, vol. 47, no. 1, pp. 7-42. Seitz, S. M., and C. M. Dyer, Photorealistic scene reconstruction by voxel coloring, CVPR'97, June 1997, pp. 1067-1073. Shade, J., S. Gortler, L.-W. He, and R. Szeliski, Layered depth images, Comp. Graphics (SIGGRAPH' 98) Proceedings, July 1998, pp. 231-242. Tao, H., H. Sawhney, and R. Kumar, A global matching framework for stereo computation, Eighth Int'l. Conff on Comp. Vision, vol I, pp. 532-539. Vedula, S., S. Baker, S. Seitz and T. Kanade, Shape and motion carving in 6D, Conff on Comp. Vision and Patten Recognition, vol. II, pp. 592-598. Wexler, Y., A. Fitzgibbon, and A. Zisserman, Bayesian estimation of layers from multiple images, Seventh European Conf on Comp. Vision, vol. III, pp.487-501. Wilburn, B., M. Smulski, H. K. Lee and M. Horowitz, The light field video camera, SPIE Electronic Imaging: Media Processors, vol. 4674, pp. 29-36. Yang, J. C., M. Everett, C. Buehler, and L. McMillan, A real-time distributed light field camera, Thirteenth Eurographics Workshop on Rendering, 2002, pp. 77-85. Zhang, L., B. Curless, and S. M. Seitz, Spacetime stereo: Shape recovery for dynamic scenes, Conf on Comp. Vision and Pattern Recognition, 2003, pp. 367-374. Zhang, Y., and C. Kambhamettu, On 3D scene flow and structure estimation, Conf on Comp. Vision and Pattern Recognition, 2001, vol. II, pp. 778-785. Zhang, Z. A flexible new technique for camera calibration, Technical Report: MSR-TR-98-71, Microsoft Research, Redmond, WA. Ziegler, G., H. Lensch, N. Ahmed, M. Magnor, and H.-P. Seidel, Multi-video compression in texture space, IEEE International Conference on Image Processing (ICIP' 04), 2004, (accepted for publication). Ziegler, G., H. Lensch, M. Magnor, and H.-P. Seidel, Multi-video compression in texture space using 4D SPIHT, IEEE Int'l. Workshop on Multimedia and Signal Processing, (MMSP'04), 2004, (accepted for publication).

本発明では、同じ動的シーンの複数のビデオ・ストリームを圧縮し、圧縮解除するこの問題に別の効率的な方法で取り組む。

本発明は、実質的に同じ動的シーンを描写する複数のビデオ・ストリームを圧縮し、圧縮解除するシステムおよびプロセスを対象とする。本発明のシステムおよびプロセスの説明をわかりやすくするために、複数のビデオ・ストリームを、同時発生の複数のビデオ・フレームからなる順次集合から構成されるビデオ・データであるとして特徴付けることができる。ひとつの集合内のそれぞれのフレームは、実質的に同じシーンを描写するが、異なる複数の視点からのシーンを描写する。さらに、それぞれのフレームは、少なくとも２つの層により表される。本発明のシステムおよびプロセスの一実施形態では、主層および境界層を使用して、ビデオ・データのそれぞれのフレームを表す。主層は、境界層に比べてピクセル・データが著しく多い。その結果、これらの層は、異なるやり方で圧縮および圧縮解除される。

概略的には、各フレームの主層の圧縮では、まず、同時発生の複数のフレームからなるそれぞれの集合内のフレームの主層の１つまたは複数を、キー・フレームとして指定ことを含む。キー・フレームは、同時発生の複数のフレームからなるどれか１つの集合内の各キー・フレームが、同時発生の複数のフレームからなる他のすべての集合内の指定されたキー・フレームと同じである視点を持つように選択される。本発明の一実施形態では、キー・フレームは、さらに、同時発生の複数のフレームからなる集合内のどのフレームも、指定されたキー・フレームの視点から所定の個数を超える視点分だけ離れている視点を持たないように選択される。これから簡単に説明するが、キー・フレームの圧縮は、非キー・フレームよりもより多くのデータビットを包含し、必要とする。したがって、１つの集合当たりのそのデータビット数を最小にしなければならない。しかし、それと同時に、簡単に説明すると、非キー・フレームは、すぐ近くのキー・フレームを基準（reference）として使用することにより圧縮される。そのため、キー・フレームの数が少なく、すぐ近くのキー・フレームと共通点がなさすぎると、リストアされたフレームの品質に悪影響が出るので、そうならないようにすべきである。テストされた実施形態では、非キー・フレームとキー・フレームとの間に置ける視点の前述の所定の個数が２であるように十分な数のキー・フレームが選択された。

キー・フレームが指定されると、圧縮は以下のように続く。時間系列順序の同時発生の複数のフレームからなる各集合について、考察対象の集合内の各キー・フレームの主層は、フレーム間圧縮法を使用して圧縮される。さらに、考察対象のフレーム集合内の各非キー・フレームの主層は、空間予測圧縮法を使用して圧縮される。最後に、現在のフレーム集合内の各フレームの境界層は、フレーム内圧縮法を使用して圧縮される。

本発明の一実施形態では、主層ピクセルは、少なくともピクセル色値およびピクセル・ディスパリティ（pixel disparity）または深度値により特徴付けられ、境界層ピクセルは、少なくともピクセル色値、ピクセル・アルファ値、およびピクセル・ディスパリティ（ピクセル視差）または深度値（depth：距離）により特徴付けられることに留意されたい。こうすると、フレーム間手法を使用する各キー・フレームの主層の圧縮は、非予測フレーム内（Ｉフレーム）圧縮法を使用するキー・フレーム主層を圧縮することを伴うことが可能であり、この非予測フレーム内（Ｉフレーム）圧縮法は、所定の周期ベースで第１のビデオ・フレーム集合および他の後続のフレーム集合について、最低でもピクセル色値を、ピクセル・ディスパリティまたは深度値とともに符号化する。これらのキー・フレームは、フレーム間圧縮法のＩフレームに対応する。さらに、Ｉフレームに対応していないフレーム（例えば、ＩｎｔｅｒまたはＰフレーム）の集合内の各キー・フレームの主層は、先行するＩフレーム集合内の同じ視点を示すキー・フレームの主層に基づいて、時間予測圧縮法を使用して圧縮される。ここで、時間予測法は、最低でも、ピクセル色値とともにピクセル・ディスパリティまたは深度値を符号化するように設計されている。同時発生の複数のフレームからなる各集合内の各非キー・フレームの主層の圧縮に関して、これは、最低でもピクセル色値とともにピクセル・ディスパリティまたは深度値を符号化する空間予測圧縮法を使用することを伴う。圧縮される非キー・フレーム層から前述の所定の個数以下の視点分だけ離れているキー・フレームの主層は、空間予測圧縮法の基準フレーム（reference frame）として使用される。そして最後に、フレーム内圧縮法を使用して各フレームの境界層を圧縮することに関して、これは、最低でもピクセル色値、ピクセル・ディスパリティまたは深度値、およびピクセル・アルファ値を符号化する非予測Ｉフレーム圧縮法を使用することを伴う。

上述のように圧縮されたビデオ・データの圧縮解除は、本質的に、圧縮プロセスの逆プロセスである。そのため、各フレームの境界層は、各フレーム集合内で次々に、フレーム内圧縮解除法を使用して圧縮解除される。さらに、各キー・フレームの主層は、同時発生の複数のフレームからなる各集合内で次々に、フレーム間圧縮解除法を使用して圧縮解除される。そして最後に、各非キー・フレームの主層は、同時発生の複数のフレームからなる各集合内で次々に、空間予測圧縮解除法を使用して圧縮解除される。

主層ピクセルが少なくともピクセル色値およびピクセル・ディスパリティまたは深度値により特徴付けられ、境界層ピクセルが少なくともピクセル色値、ピクセル・アルファ値、およびピクセル・ディスパリティまたは深度値により特徴付けられる実施形態では、圧縮解除は、一般的に以下のように実行される。フレーム間手法を使用して各キー・フレームの主層を圧縮解除は、最低でも、Ｉフレームに関連付けられたフレーム集合について最低でも元のピクセルカラー値およびピクセル・ディスパリティまたは深度値の近似を復元する非予測Ｉフレーム圧縮法を使用してキー・フレーム主層を圧縮解除することを伴う。Ｉフレームに対応しないフレームの集合内の各キー・フレームの主層は、同じフレーム集合内の同じ視点を示すキー・フレームの主層に基づいて、時間予測圧縮解除法を使用して圧縮解除される。これは、さらに、最低でも元のピクセル色値およびピクセル・ディスパリティまたは深度値の近似を復元する。同時発生の複数のフレームからなる各集合内の各非キー・フレームの主層に関して、これらは、最低でもピクセル色値とともにピクセル・ディスパリティまたは深度値の近似を復元する空間予測圧縮解除法を使用して圧縮解除される。圧縮段階と同様に、この非キー・フレーム主層圧縮解除は、圧縮解除される主層から所定の個数の以下の視点分だけ離れているキー・フレームの主層を空間予測圧縮解除法用の基準フレームとして使用することを伴う。最後に、フレーム内圧縮解除法を使用して各フレーム集合内の各フレームの境界層を圧縮解除することは、最低でも元のピクセル色値、ピクセル・ディスパリティまたは深度値、およびピクセル・アルファ値の近似を復元する非予測Ｉフレーム圧縮解除法を使用することを伴う。

説明されたばかりの利点に加えて、本発明の他の利点は、付属する図面とともに、これ以降の詳細な説明を読むことで、明らかになるであろう。

本発明の特定の機能、態様、および利点は、以下の説明、付属の請求項、および添付の図面を参照するとさらによく理解できるであろう。

本発明の好ましい実施形態の以下の説明では、その一部をなし、本発明を実施できる特定の実施形態が図で示されている、付属の図面を参照する。他の実施形態を利用し、本発明の範囲および精神から逸脱することなく構造上の変更を加えることができることは理解される。

１．０ インターラクティブ視点ビデオ（Interactive Viewpoint Video）
本発明のシステムおよびプロセスは、インターラクティブ視点ビデオ・データ、または同じビデオ・フレーム形式を持つ他のデータの圧縮および圧縮解除を行うために使用される。一般に、インターラクティブ視点ビデオは、ユーザが思いのままに時間を操作し（フリーズ、スローダウン、または反転）、視点を変更しながら、動的シーンを見ることができるビデオである。このビデオを生成するには、比較的少ない台数のカメラを使用して、異なる視点からシーンの複数のビューを同時にキャプチャし、ビデオの同時発生の複数のフレームからなる集合を作成する。これは継続的に実行され、これらのフレーム集合からなるシーケンスを生成し、その後、一意的な２層フレーム表現を使用してそれらを特徴付け、ビデオを形成する。インターラクティブ視点ビデオの生成は本発明のシステムおよびプロセスの範囲を超えているが、これは、 年 月 日に出願され、シリアル番号 を割り当てられた「Interactive Viewpoint Video System And Process」という表題の同時係属出願の主題である。

各フレームの前記の２層表現は、主層および境界層を含む。主層は、表現されるフレームの深度不連続領域の対応する形で配置されているピクセルに関連付けられた背景色および背景ディスパリティを示すピクセルを有するとともに、それらの深度不連続領域内に見つからないフレームの対応する形で配置されているピクセルに関連付けられた色およびディスパリティを示すピクセルを持つ。境界層は、フレーム内の深度不連続領域の対応する形で配置されているピクセルに関連付けられた前景色、前景ディスパリティ、およびアルファ値からなる。深度不連続領域は、フレーム内に見つかった深度不連続部分を囲む所定のサイズの領域に対応する。本発明では、この２層フレーム・データが時間と空間を合わせた方法での圧縮および圧縮解除に使用する。

以下の節では、本発明の圧縮および圧縮解除（コーデック）システムおよびプロセスの詳細を示す。本発明を実装するのに好適なコンピューティング環境をまず提示する。この後に、コーデック自体の説明が続く。

１．１ コンピューティング環境
本発明の好ましい実施形態の説明を行う前に、本発明の一部を実装できる好適なコンピューティング環境の概要について簡単に説明する。図１は、好適なコンピューティング・システム環境１００の一実施例を示している。コンピューティング・システム環境１００は、好適なコンピューティング環境の一例にすぎず、本発明の用途または機能性の範囲に関する制限を示唆する意図はない。コンピューティング環境１００は、典型的な動作環境１００に例示されている１つのコンポーネントまたはその組合せに関係する何らかの依存関係または要求条件がその環境にあるものと解釈すべきでない。

本発明は、他の数多くの汎用または専用コンピューティング・システム環境または構成で動作する。本発明とともに使用するのに適していると思われるよく知られているコンピューティング・システム、環境、および／または構成の例として、限定はしないが、パーソナル・コンピュータ、サーバ・コンピュータ、ハンドヘルドまたはラップトップ・デバイス、マルチ・プロセッサ・システム、マイクロ・プロセッサ・ベースのシステム、セットトップボックス、プログラム可能な家電製品、ネットワークＰＣ、ミニ・コンピュータ、メインフレーム・コンピュータ、上記システムまたはデバイスを含む分散コンピューティング環境などがある。

本発明は、コンピュータによって実行される、プログラム・モジュールなどのコンピュータ実行可能命令の一般的なコンテクストで説明することができる。一般に、プログラム・モジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。また、本発明は、通信ネットワークを通じてリンクされているリモート処理装置によりタスクが実行される分散コンピューティング環境で実施することもできる。分散コンピューティング環境では、プログラム・モジュールをメモリ記憶デバイスなどのローカルとリモートの両方のコンピュータ記憶媒体に配置できる。

図１では、本発明を実装する典型的なシステムは、コンピュータ１１０の形態の汎用コンピューティング・デバイスを備える。コンピュータ１１０が備えるコンポーネントとしては、限定はしないが、演算処理装置１２０、システム・メモリ１３０、およびシステム・メモリを備える様々なシステム・コンポーネントを演算処理装置１２０に結合するシステム・バス１２１などがある。システム・バス１２１は、メモリ・バスまたはメモリ・コントローラ、周辺機器バス、および様々なバス・アーキテクチャを使用するローカル・バスを含む数種類のバス構造のうちのいずれでもよい。例えば、限定はしないが、このようなアーキテクチャとしては、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＭＣＡ）バス、Ｅｎｈａｎｃｅｄ ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカル・バス、およびＭｅｚｚａｎｉｎｅバスとも呼ばれるＰｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスがある。

コンピュータ１１０は、通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０によってアクセスされることができる媒体であればどのような媒体でも使用可能であり、揮発性および不揮発性媒体、取り外し可能および取り外し不可能媒体を含む。例えば、限定はしないが、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造体、プログラム・モジュール、またはその他のデータなどの情報を格納する方法または技術で実装される揮発性および不揮発性、取り外し可能および取り外し不可能媒体を含む。コンピュータ記憶媒体としては、限定はしないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）またはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶デバイス、または所望の情報を格納するために使用することができ、しかもコンピュータ１１０によりアクセスできるその他の媒体がある。通信媒体は、通常、コンピュータ可読命令、データ構造体、プログラム・モジュール、または搬送波もしくはその他のトランスポート・メカニズムなどの変調データ信号によるその他のデータを具現するものであり、任意の情報配信媒体を含む。「変調データ信号」という用語は、信号内に情報を符号化するような方法で特性のうちの１つまたは複数が設定または変更された信号を意味する。例えば、限定はしないが、通信媒体としては、有線ネットワークまたは直接配線接続などの有線媒体、ならびに、音響、ＲＦ、赤外線、およびその他の無線媒体などの無線媒体がある。上記のいずれの組合せもコンピュータ可読媒体の範囲に収まらなければならない。

システム・メモリ１３０は、読み取り専用メモリ（ＲＯＭ）１３１およびランダム・アクセス・メモリ（ＲＡＭ）１３２などの揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を含む。起動時などにコンピュータ１１０内の要素間の情報伝送を助ける基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ）は、通常、ＲＯＭ １３１に格納される。通常、ＲＡＭ １３２は、演算処理装置１２０に直接アクセス可能な、および／または演算処理装置１２０によって現在操作されているデータおよび／またはプログラム・モジュールを格納する。例えば、限定はしないが、図１は、オペレーティング・システム１３４、アプリケーション・プログラム１３５、その他のプログラム・モジュール１３６、およびプログラム・データ１３７を例示している。

コンピュータ１１０はさらに、その他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ記憶媒体を備えることもできる。例えば、図１は、取り外し不可能な不揮発性磁気媒体の読み出しまたは書き込みを行うハードディスク・ドライブ１４１、取り外し可能な不揮発性磁気ディスク１５２の読み出しまたは書き込みを行う磁気ディスク・ドライブ１５１、およびＣＤ ＲＯＭまたはその他の光媒体などの取り外し可能な不揮発性光ディスク１５６の読み出しまたは書き込みを行う光ディスク・ドライブ１５５を例示している。動作環境の実施例で使用できる他の取り外し可能／取り外し不可能な揮発性／不揮発性コンピュータ記憶媒体としては、限定はしないが、磁気テープ・カセット、フラッシュ・メモリ・カード、デジタル多目的ディスク、デジタル・ビデオ・テープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどがある。ハードディスク・ドライブ１４１は、通常、インターフェース１４０などの取り外し不可能なメモリ・インターフェースを介してシステム・バス１２１に接続され、磁気ディスク・ドライブ１５１および光ディスク・ドライブ１５５は、通常、インターフェース１５０などの取り外し可能なメモリ・インターフェースによりシステム・バス１２１に接続される。

図１に例示されている上記のドライブおよび関連コンピュータ記憶媒体は、コンピュータ１１０用のコンピュータ可読命令、データ構造体、プログラム・モジュール、およびその他のデータを格納する機能を備える。例えば、図１では、ハードディスク・ドライブ１４１は、オペレーティング・システム１４４、アプリケーション・プログラム１４５、その他のプログラム・モジュール１４６、およびプログラム・データ１４７を格納するものとして例示されている。これらのコンポーネントは、オペレーティング・システム１３４、アプリケーション・プログラム１３５、その他のプログラム・モジュール１３６、およびプログラム・データ１３７と同じである場合もあれば異なる場合もあることに留意されたい。オペレーティング・システム１４４、アプリケーション・プログラム１４５、その他のプログラム・モジュール１４６、およびプログラム・データ１４７に対しては、ここで、異なる番号を割り当てて、最低でも、それらが異なるコピーであることを示している。ユーザは、キーボード１６２、およびマウス、トラックボール、またはタッチパッドと一般に呼ばれるポインティング・デバイス１６１などの入力デバイスを介してコンピュータ１１０にコマンドおよび情報を入力できる。他の入力装置（図に示されていない）としては、マイク、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナなどがある。これらの入力デバイスおよびその他の入力デバイスは、システム・バス１２１に結合されているユーザ入力インターフェース１６０を通じて演算処理装置１２０に接続されることが多いが、パラレル・ポート、ゲームポート、またはユニバーサル・シリアル・バス（ＵＳＢ）などの他のインターフェースおよびバス構造により接続されることも可能である。モニタ１９１またはその他の種類の表示デバイスも、ビデオ・インターフェース１９０などのインターフェースを介してシステム・バス１２１に接続される。モニタのほかに、コンピュータはさらにスピーカ１９７およびプリンタ１９６などの他の周辺出力デバイスも備えることができ、これらは出力周辺機器インターフェース１９５を介して接続することができる。一連の画像１９３をキャプチャすることができるカメラ１９２（デジタル／電子スチルまたはビデオ・カメラ、またはフィルム／写真スキャナなど）も、パーソナル・コンピュータ１１０への入力デバイスとして含めることもできる。さらに、ただ１台のカメラが示されているが、複数のカメラをパーソナル・コンピュータ１１０への入力デバイスとして含めることが可能である。１つまたは複数のカメラから得られる画像１９３は、適切なカメラ・インターフェース１９４を介してコンピュータ１１０に入力される。このインターフェース１９４は、システム・バス１２１に接続され、それによって、画像をＲＡＭ １３２、またはコンピュータ１１０に関連付けられた他のデータ記憶デバイスのうちの１つに転送して格納することができる。しかし、画像データは、さらに、カメラ１９２を使用せずに、上述のコンピュータ可読媒体のどれかからコンピュータ１１０に入力できることに留意されたい。

コンピュータ１１０は、リモート・コンピュータ１８０などの１つまたは複数のリモート・コンピュータへの論理接続を使用してネットワーク接続環境で動作することができる。リモート・コンピュータ１８０は、パーソナル・コンピュータ、サーバ、ルータ、ネットワークＰＣ、ピア・デバイス、またはその他の共通ネットワーク・ノードでもよく、通常は、コンピュータ１１０に関係する上述の要素の多くまたはすべてを含むが、メモリ記憶デバイス１８１だけが図１に例示されている。図１に示されている論理接続は、ローカル・エリア・ネットワーク（ＬＡＮ）１７１およびワイド・エリア・ネットワーク（ＷＡＮ）１７３を含むが、他のネットワークを含むこともできる。このようなネット・ワーキング環境は、オフィス、企業全体にわたるコンピュータ・ネットワーク、イントラネット、およびインターネットでは一般的である。

ＬＡＮネット・ワーキング環境で使用される場合、コンピュータ１１０は、ネットワーク・インターフェースまたはアダプタ１７０を介してＬＡＮ １７１に接続される。ＷＡＮネット・ワーキング環境で使用される場合、コンピュータ１１０は、通常、インターネットなどのＷＡＮ １７３上で通信を確立するためモデム１７２またはその他の手段を備える。モデム１７２は、内蔵でも外付けでもよいが、ユーザ入力インターフェース１６０またはその他の適切なメカニズムを介してシステム・バス１２１に接続されうる。ネットワーク接続環境では、コンピュータ１１０またはその一部に関して示されているプログラム・モジュールは、リモート・メモリ記憶デバイスに格納されうる。例えば、限定はしないが、図１はリモート・アプリケーション・プログラム１８５をメモリ・デバイス１８１に置かれているものとして例示している。図に示されているネットワーク接続は実施例であり、コンピュータ間の通信リンクを確立するのに他の手段が使用可能であることは理解されるであろう。

典型的な動作環境について説明したが、この説明の節の残りの部分は、インターラクティブ視点ビデオ・システムのハードウェア、プログラム・モジュールのアーキテクチャ、およびモジュールそれ自体の説明に専念する。

１．２．１ 圧縮
すでに説明した２層フレーム・データは、大量のデータ（例えば、８台のカメラを使用し１５ｆｐｓの速さで１秒間記録した、未圧縮８００ＭＢのオーダーの）を表す。本発明による圧縮スキームはこの大量のデータを管理可能なサイズに縮小するのに使用され、圧縮解除は高速再生をサポートするように設計される。それぞれのカメラは、同じシーンの部分をキャプチャしているため、カメラ間（つまり空間）冗長性とともに、連続するフレーム集合の間で時間的に有効に活用することによって、データを圧縮する機会が存在する。一般に、時間圧縮態様では、先行するフレームからの動き補償推定結果を使用する時間予測を含むが、空間圧縮態様では、空間的に隣接するカメラの視点内に変換された基準カメラのテクスチャおよびディスパリティ・マップ（disparity maps）を使用する空間予測を含む。その後、テクスチャおよびディスパリティ／深度データを同時に処理できる新規性のある変換ベースの圧縮スキームを使用して、予測されたフレームと実際のフレームとの差分が符号化される。

より具体的には、本発明のコーデックは、各フレームの主層に対するＲＧＢＤデータ（ＲＧＢは従来のように各ピクセルの赤色、緑色、および青色の強さの値を指し、Ｄはピクセル・ディスパリティまたは深度である）とフレームの境界層に対するＲＧＢＡＤアルファ・マット・データ（Ａはピクセル・アルファ値である）の２種類の情報を圧縮する。前者については、非予測圧縮（Ｉフレームの場合）と予測圧縮（Ｐフレームの場合）の両方が使用されるが、後者については、境界層データは、そのまばらな（sparseness）せいで極めて十分に圧縮すること、また視点間のこの境界データの変化が大きいので予測符号化を採用することが困難であること、のために、非予測Ｉフレームが使用される。

図２は、典型的なカメラ８台のセットアップを示している。異なる視点からシーンを撮像するこれら８台のカメラ２００はビデオ・データをキャプチャするために使用される。図３は、主層の符号化方法を例示しており、また本発明の時間と空間のハイブリッド予測スキームを説明している。８つのカメラ視点のうち２つのキー・フレーム・カメラ視野３００が選択される。本発明の圧縮法のテストされた実施形態では、非キー・フレーム・カメラ視野３０２がキー・フレーム・カメラからカメラ・ポジション２つ分を超えて離れないように、キー・フレーム・カメラ視野３００が選択される。さらに、キー・フレーム３００が選択された後、特定の非キー・フレーム３０２を２つのキー・フレームのうちのいずれか一方に関連付けることができ、それでもキー・フレームからの離れ具合がカメラ・ポジションの所定の個数分の範囲内であれば、より近いキー・フレームが非キー・フレームに関連付けられる。同じ状況が存在し、いずれかのキー・フレーム３００が同じ距離だけ離れている場合、任意のルールが、非キー・フレーム３０２を近隣のキー・フレームの１つに関連付けるために確定される。従って、８台のカメラの実施例では、この結果が得られるように一列のカメラ群の一端から３番目のカメラ、他端から２番目のカメラがキー・フレーム３００として選択されており、隣接する複数の非キー・フレーム３０２は、それらのうちの１つと、それらを連結する曲線３０４により図３に示されているように関連付けられている。

キー・フレームを圧縮する際に、隣接する非基準カメラ視野と比較して異なる圧縮手続きが、使用される。図３を再び参照すると、キー・フレーム３００に関して、テクスチャ（ＲＧＢ）およびディスパリティ（Ｄ）データは、すでに示されているように、前述の非予測Ｉフレーム圧縮法を使用して最初に圧縮される。非キー・フレーム・カメラ視野３０２（Ｐ_s）は、近隣の基準視野からの空間予測を使用して圧縮される。このスキームが選択されたのは、新しい視野を合成するために隣接カメラ・ペアからのデータが選択的に圧縮解除される場合に復号化されなければならない情報の量をそれが最小にするからである。時間的に次のフレーム集合では、動き補償が使用され、変換ベースの手法を用いて誤差信号が符号化され、各Ｉフレームに対して時間予測フレーム３０６（Ｐ_t）を得られる。さらに、前述の予測空間圧縮が使用されて、すぐ近くのＰ_tフレーム３０６の復号化バージョンに基づいて、考察対象の新しいフレーム内のそれぞれの非キー・フレーム視野３０２を符号化する。この結果、復号化時に、Ｐ_tフレーム３０６を最初に復号化し、その後、そのＰ_tフレームを使用して同じフレーム集合内のＰ_s３０２フレームを復号化することができる。

前述の圧縮スキームは、高速の復号化および圧縮解除を可能にする。例えば、任意のフレーム・ペアに対する主層データを得るために、せいぜい２つの時間復号化ステップと２つの空間復号化ステップが必要とされることになる。この最大値は、所望の視野をレンダリングするために２つの隣接フレームが必要であり、両方とも異なるＰ_tフレームに基づいて符号化されたＰ_sフレームである場合にのみ、生じる。必要な２つの視野が同じＰ_tフレームに基づいて符号化されたＰ_sフレームであった場合、フレーム層データを得るために１つの時間復号化ステップと２つの空間復号化ステップのみが必要である。さらに、所望の視野をレンダリングするために必要な２つの視野のうちの１つがＰ_tフレームである場合、１つの時間復号化ステップと１つの空間復号化ステップのみが必要である。同様に、ユーザ指定視点から表現されるシーンをレンダリングするために必要な視野がカメラ視野の１つと一致した場合、その視野がＰ_sフレームであったとしても、１つの時間復号化ステップと１つの空間復号化ステップのみが必要である。最高速のシナリオとなるのは、必要な１つの視野がＰ_tフレームと一致した場合である。この最後の場合には、必要なフレーム層データを得るために、１つの時間復号化ステップのみが必要である。

次に、前述の様々な圧縮スキームのさらに詳しい説明を示す。

１．２．１．１ Ｉフレームを使用する、キー・フレームの主層の圧縮
前述のように、インターラクティブ視点ビデオ・データの「フレーム」を構成する同時にキャプチャされたフレームの各集合内の各構成要素フレームは、ＲＧＢＤピクセル値を含む主層と、ＲＧＢＡＤピクセル値を含む境界層とにより表される。さらに、キー・フレームの主層は、最初に、またそれ以降周期的に、非予測Ｉフレーム法を使用して圧縮される。この節では、その手法について説明する。

図４Ａ〜４Ｂを参照すると、非予測Ｉフレーム圧縮プロセス内の第１のアクション４００は、キー・フレームの主層のこれまで未選択のブロックをラスター順に選択することである。このプロセスのテストされた実施形態では、１６×１６ピクセル・ブロックが使用されている。しかし、他のブロックサイズも同様に使用可能である。また、テストされた実施形態ではラスター順が使用されたが、代わりに他のブロック選択順を使用することも可能であることに留意されたい。

現在選択されているブロックのＲＧＢＤ値が入力され（プロセス・アクション４０２）、標準の方法を使用してＹｕｖＤ値に変換される（プロセス・アクション４０４）。さらに、選択されたブロックのｕおよびｖプレーンがダウン・サンプリングされ、所定のサイズのサブブロックが出力される（プロセス・アクション４０６）。テストされた実施形態では、ｕおよびｖプレーンは、２の因数でダウン・サンプリングされ、８×８ピクセルのｕサブブロックおよび８×８ピクセルのｖサブブロックが出力された。さらに、選択されたブロックのＹおよびＤプレーンは、ｕおよびｖサブブロックと同じサイズである複数のサブブロックに分割される（プロセス・アクション４０８）。テストされた実施形態では、これらのプレーンは、４つの８×８象限サブブロックに分割された。

Ｙ、ｕ、ｖ、およびＤサブブロックのそれぞれは、所定のパターンを介して順序番号を割り当てられる（プロセス・アクション４１０）。テストされた実施形態では、所定のパターンは、Ｙプレーンから開始し、順序番号１から４をそれぞれＹサブブロックにラスター順序で割り当てる必要があった。ｕサブブロックは、数５を割り当てられ、ｖサブブロックは、数６を割り当てられる。最後に、Ｄプレーンのサブブロックは、ラスター順序で順序番号７〜１０を割り当てられる。他の順序付けパターンを使用できるが、上述のパターンにより圧縮解除が高速化されると考えられる。

Ｙ、ｕ、ｖ、およびＤサブブロックのそれぞれは、次に離散コサイン変換（ＤＣＴ）領域に変換される（プロセス・アクション４１２）。テストされた実施形態では、ＤＣＴ法の整数近似を使用して、変換を実行した。変換の結果は、複数の周波数成分からなる一８×８ブロックのシーケンスである。ＤＣ成分予測法がそれぞれの周波数ブロックに適用される（プロセス・アクション４１４）。これは、各周波数ブロック内のＤＣ成分を予測されたＤＣ成分値と実際の値との差を表す値で置き換えることを含む。このＤＣ予測は、テストされた実施形態では、定義済み固定量子化レベルが使用されていることを除き、ＭＰＥＧ４規格で規定されているのと類似している交換ＤＣ予測法（switched DC prediction technique）を使用して、遂行された。採用された特定の量子化レベルは、アプリケーション特有であり、圧縮解除されたフレームの品質とそれを表すために必要なビットの個数とを両立させるように選択される。ＤＣ予測アクションの目的は、同じプレーンの隣接する周波数ブロックのＤＣ値が同じオリジナル値に近い場合に、通常であれば符号化するのに多くのビットを必要とする比較的大きなＤＣ成分値であったであろう値をほぼゼロである値に変換することである。

次に、プロセス・アクション４１６で、それぞれの周波数ブロックの周波数成分（ＤＣ成分を除く）を量子化し、小さなノイズ・レベルの値を排除し、符号化に必要なデータの量を減らす。テストされた実施形態では、ＩＴＵ−Ｔビデオ符号化規格Ｈ．２６３の量子化方式が採用された。その後、標準の可変長符号化法を使用して、すでに割り当てられているブロック順序に従って各周波数ブロックが符号化される（プロセス・アクション４１８）。テストされた実施形態では、これは、最初に、標準のジグザグ走査パターンを使用して各ブロックの成分を順序付けし、ＭＰＥＧ４ Ｈｕｆｆｍａｎ符号化手続きなどの標準のＩブロック可変長符号化法を使用して符号化することを含んだ。

周波数ブロックの符号化された周波数値からビットストリームが生成される（プロセス・アクション４２０）。テストされた実施形態では、ＭＰＥＧ４符号化ブロック・パターン（ＣＢＰ）データ構造の修正バージョンがこの目的のために採用された。より具体的には、４つのセクション−つまり、ＣＢＰＹ、ＣＢＰｕ、ＣＢＰｖ、およびＣＢＰＤセクション−を含むようにＣＢＰヘッダ・フィールドが形成される。これらのセクションは、Ｙ、ｕ、ｖ、およびＤプレーンをそれぞれ表す符号化されたデータの部分に対応する。本質的に、それぞれのＣＢＰ「ｘ」セクションは、プレーンのサブブロックを表す周波数ブロックがゼロでないＡＣ周波数成分を持つかどうかをデコーダに示すものである。ＣＢＰ「ｘ」符号化は、ＣＢＰＹ、ＣＢＰｕ、ＣＢＰｖセクションについてＭＰＥＧ４で使用されているのと同じである。本発明に特有のものであるＣＢＰＤセクションの場合のように、ＣＢＰＹセクションに対し採用されている符号化が採用される。ＣＢＰヘッダの後に符号化された周波数成分が続くが、ただし、周波数ブロックのすべてのＡＣ成分がゼロである場合には、ＤＣ差分値のみが含まれることを除く。その結果、デコーダでは、ＣＢＰヘッダの適切なＣＢＰ「ｘ」セクションを使用して、そのデータに含まれる特定のブロックに対する符号化されたＡＣ周波数成分が含まれるかどうかを判別することができる。

次に、圧縮されるフレームのすべてのブロックが処理されたかどうかが判別される（プロセス・アクション４２２）。そうでない場合、プロセス・アクション４００から４２２が、すべてのブロックが符号化されるまで繰り返され、符号化されると、圧縮プロセスはそのフレームについて終了する。前述のプロセス・アクションのそれぞれは、ブロック毎にすべてのアクションを完了するのではなく、次のアクションに進む前に圧縮されるフレームの各ブロックに対し交互に実行されることが可能であることに留意されたい。

前述のプロセスを介して符号化されたキー・フレームの主層を復号化することに関連する圧縮解除プロセスについては、この説明の後のほうの圧縮解除の節で説明する。

１．２．１．２ Ｐフレームを使用するキー・フレームの主層の圧縮
上述の各Ｉフレームの間に入る同時発生の複数のフレームからなる集合内のキー・フレームの主層に対し、従来のフレーム間圧縮法の予測フェーズが使用される。例えば、テストされた実施形態では、ＭＰＥＧ４規格のＰフレーム生成方式を使用した。この方式に対する唯一の修正は、ディスパリティ値（Ｄ）の追加であり、その理由は、このデータを主フレーム・ピクセル・データが含むからである。Ｄデータは、Ｙデータとまったく同じようにして処理されるという点で前述のＩフレーム手続きの場合と同じ方法で、追加される。

１．２．１．３ 非キー・フレームの主層の圧縮
キー・フレームとして選択されないそれぞれの同時発生の複数のフレームからなる集合内のフレームの主層に対し、空間予測圧縮法を使用して、それらを前記のように圧縮する。一般に、空間予測を実行するために、近隣のキー・フレームからのディスパリティ・データを使用して、テクスチャ・データおよびディスパリティ・データの両方を、圧縮される非キー・フレームの視点に変換する。この結果、非キー・フレームのデータが近似され、その後、圧縮された差分情報を送信することにより補正される。そのため、キー・フレームは、隣接する非キー・フレームを圧縮するための基準視野（reference views）として機能する。カメラ視野変換時に作成されたオクルージョン・ホール（手前にある物体が背後にある物体を隠す部分）は、別々に取り扱われ、欠損テクスチャは、アルファ・マスクを使用して予測なしで符号化される。これは、従来のブロック・ベースのＰフレーム・コーデックだと得られない、クリーンな結果が得られる。

次に空間圧縮手続きについては、同時発生の複数のフレームからなる前述の集合のそれぞれの中の各非キー・フレーム画像に関係しているので、さらに詳しく説明する。図５Ａ〜Ｂを参照すると、圧縮される非キー・フレームから所定の視点数分の範囲内にあるキー・フレーム識別され、ＹｕｖＤ形式のそのピクセル・データが入力される（プロセス・アクション５００）。次に、識別されているキー・フレームのディスパリティ・データ（Ｄ）と、びキー・フレームおよび圧縮される非キー・フレームをキャプチャするために使用されるカメラのカメラ・パラメータとを使用して、テクスチャ・データおよびディスパリティ・データ（ＹｕｖＤ）の両方を、圧縮される非キー・フレームの視点に変換する（プロセス・アクション５０２）。カメラ・パラメータ・データは、同時発生の複数のフレームからなる順次的集合を生成するために使用される複数のビデオ・ストリームの取得の一環として計算され、および本発明の圧縮モジュールとともに、圧縮解除およびレンダリング・モジュールにより使用するために格納されることを留意されたい。キー・フレームの主層を圧縮される非キー・フレームの視点に「ワープ」するために使用されるプロセスは、従来の方法を使用して実行される。しかし、本発明のテストされた実施形態では、 年 月 日に出願され、シリアル番号 を割り当てられた「A Real-Time Rendering System And Process For Interactive Viewpoint Video」という表題の同時係属出願で説明されているワーピング手続きがこの目的のために採用された。

また、キー・フレーム画像をワープする際に、非キー・フレーム画像の視点から見えるシーンのいくつかの部分がキー・フレーム画像の視点からは見えない場合も多いということに留意されたい。その状況であれば、ワープされたキー・フレーム画像は、閉塞穴（オクルージョン・ホール）、つまり、使用可能なＹｕｖＤ値がないピクセルを示すことになる。符号化されたフレームがオクルージョン・ホールを示さないようにするために、以下の手順が使用される。プロセス・アクション５０４で、ＹｕｖＤ値を持たないワープされたキー・フレームのピクセルは、識別され、バイナリ・マスクが生成され、これはピクセル位置毎に、ＹｕｖＤピクセル値が使用可能であれば１つの２進値（例えば、１）を持ち、ＹｕｖＤ値が存在しなければ他の２進値（例えば、０）を持つ。プロセス・アクション５０６で、使用可能なＹｕｖＤ値がないことを示すバイナリ・マスクの領域が、所定のピクセルの個数分だけ（例えば、テストされた実施形態では１）拡張される。これは、そうしないとオクルージョン・ホールを圧縮されたフレーム内に残してしまうおそれのあるワーピング・プロセスにおけるノイズの補償のため行われる。次に、バイナリ・マスクは、所定のサイズのブロックからなるグリッドに分割される（プロセス・アクション５０８）。テストされた実施形態では、１６×１６ピクセル・ブロックが採用された。その後、ブロック毎にモード指定が確立されるが、これは、そのブロック内のバイナリ・マスク「ピクセル」のどれかがオクルージョン・ホールに関連付けられた第２の２進値を持つかどうかを示す（プロセス・アクション５１０）。テストされた実施形態では、第１の２進値（例えば、１）を使用して、ブロックがその中にオクルージョン・ホール・ピクセルを持つことを示し、第２の２進値（例えば、０）を使用して、オクルージョン・ホール・ピクセルがないことを示した。

その一方で、ワープされたキー・フレーム画像のそれぞれのピクセルのピクセル値は、圧縮される非キー・フレーム画像の対応するピクセルの類似の型の値から差し引かれ、それによって差分画像が出力される（プロセス・アクション５１２）。その後、その非キー・フレーム画像および差分画像は、バイナリ・マスクを分けるために使用されるのと同じサイズの複数のブロックにセグメント化され（プロセス・アクション５１４）、所定の順序で（例えば、テストされた実施形態ではラスター順序で）、それぞれの画像のそれぞれのブロックが圧縮される。より具体的には、非キー・フレーム画像の未選択のブロックは、所定の順序で選択される（プロセス・アクション５１６）。さらに、差分画像のそれに対応して配置されたブロックが選択される（プロセス・アクション５１８）。その後、選択されたブロックがオクルージョン・ホール・ピクセルを含むかどうかを、そのブロックに対しすでに確定されている指定モードを使用して、判別する（プロセス・アクション５２０）。差分画像の選択されたブロックは、そのブロックがオクルージョン・ホール・ピクセルを含まないものとして指定されていることがわかっている場合に、特定のキー・フレームの圧縮に関して前述のＩフレーム圧縮法の修正バージョンを使用して符号化される（プロセス・アクション５２２）。これらの修正は、差分画像のＤＣ成分がとにかく小さくなるのでＤＣ予測ステップをスキップすることを含む。さらに、標準の符号化テーブルを使用してＤＣ成分を符号化する（ＭＰＥＧ４ Ｈｕｆｆｍａｎｎ ＤＣ周波数成分テーブルなど）代わりに、ＡＣ周波数成分を符号化するための符号化テーブルが使用される。これらの変更以外、手順は同じである。

それとは別に、ブロックがオクルージョン・ホール・ピクセルを含むものとして指定されていることがわかっている場合、非キー・フレーム画像の選択されたブロックは、キー・フレームの圧縮に関して前述のＩフレーム圧縮法の修正バージョンを使用して符号化される（プロセス・アクション５２４）。この場合の修正は、圧縮プロセスのＤＣ予測ステップを変更することを含む。非キー・フレームが上述の方法で圧縮された場合、復号化された画像は、近隣のキー・フレームから予測されずに、非キー・フレーム画像から直接取り出されたいくつかのブロックを含む可能性がある。これらの直接（取り出された）ブロックは、オクルージョン・ホールがワープされたキー・フレーム画像内に存在するブロックである。簡単に説明すると、直接ブロックに対する復号化プロセスは、逆ＤＣ周波数成分予測ステップを伴う。いくつかのキー・フレームを圧縮することに関してすでに説明されているように、ＤＣ周波数成分予測は、隣接ブロックからのＤＣ成分値を使用してＤＣ成分の代わりをする差分値を作成することを含む。逆ステップでは、先行するブロックのリストアされたＤＣ成分を使用して、復号化されるブロックのＤＣ成分をリストアする。しかし、非キー・フレーム画像に対する上述の圧縮シナリオでは、先行するブロックは、オクルージョン・ホール・ピクセルを含んでいなかったため、差分画像から生成された可能性がある。その状況であれば、リストアされるときに、周波数ブロックは、変換された差分画像に関連付けられた小さなＤＣ周波数成分を持つことになる。そのため、非キー・フレーム画像から直接ブロックを圧縮する場合に、変換された差分画像ブロックに関連付けられた小さなＤＣ周波数成分をＤＣ予測ステップで効果的に使用できないという問題が生じる。さらに、非キー・フレーム画像内の隣接ブロックは、ワープされたキー・フレーム内のオクルージョン・ホールに関連付けることができず、したがって、圧縮された画像内には存在しないことになるのでＤＣ成分予測目的には使用できない。これを解決するために、前述のＩフレーム圧縮法を修正し、圧縮される非キー・フレーム画像から直接取り出したブロックを使用するときに、中間範囲のＤＣ周波数成分値が、ＤＣ成分予測ステップを実行する場合に隣接ブロックからの実際のＤＣ成分の代わりに使用されるようにする。これは、隣接ブロックがまた直接ブロックでない場合である。それが直接ブロックである場合は、そのリストアされたＤＣ成分を、通常その圧縮手続きであるかのように、使用することができる。この結果、後で説明するように、圧縮された非キー・フレーム画像を圧縮解除する場合、これは、圧縮されたデータに含まれるモード指定を使用して、どのブロックが直接ブロックであるかを識別することができる。直接ブロックに対して、修正されたＩフレーム圧縮解除を採用し、これは、この手続きに必要な隣接ブロックが直接ブロックでない場合に、逆ＤＣ成分予測ステップにおいて所定の中間範囲ＤＣ周波数成分値を使用する。

圧縮されたブロックが、プロセス・アクション５２６で、直接ブロックまたは差分画像ブロックから生成されたかどうかに関係なく、適切なブロック・モード指定が圧縮ブロック・データに付加される。その後、圧縮される非キー・フレームのすべてのブロックが処理されたかどうかが判別される（プロセス・アクション５２８）。そうでない場合、プロセス・アクション５１６から５２８が、すべてのブロックが符号化されるまで繰り返され、すべてのブロックが符号化されると、圧縮プロセスは考察対象のキー・フレームについて終了する。

１．２．１．４ 境界層データの圧縮
前述のように、インターラクティブ視点ビデオ・データの「フレーム」を構成する同時にキャプチャされたフレームの各集合内の各構成要素フレームは、さらに、割り当てられたＲＧＢＡＤ値を持つピクセルを含む境界層により表される。これらの境界層は、非予測Ｉフレーム法であるが、Ａプレーンに関連付けられたサブブロックがそのプロセスに追加され、非透明ピクセルを持つブロックが符号化されることを除き、主層キー・フレームの圧縮に関して上述したのに似た非予測Ｉフレーム法、を使用して圧縮される。構成要素フレームに関連付けられた境界層データに適用されるときのこの圧縮法について詳細に説明することにする。

図６Ａ〜Ｃを参照すると、境界層圧縮プロセスは、所定のサイズのどのブロックがすべて透明（Ｔ）、すべて不透明（Ｏ）、または部分的に透明、部分的に不透明（これ以降、部分ブロック（Ｐ）と呼ぶ）であるピクセルを含むかを指定するデータを符号化する手順から始まる。この目的のために、プロセス・アクション６００で、圧縮される境界層フレームのＲＧＢＡＤピクセル・データが入力される。その後、画像のそれぞれの所定のサイズのブロック（例えば、テストされた実施形態では８×８）は、それぞれのピクセルを固定しきい値と比較してＡ値に基づき透明（transparent）、不透明（opaque）、または部分的（partial）として分類される（プロセス・アクション６０２）。その後、このカテゴリ・データは符号化される（プロセス・アクション６０４）。テストされた実施形態では、この符号化は、四分木＆Ｈｕｆｆｍａｎ可変長符号化法を使用することを伴う。

四分木手続きに関して、これは、ルート・レベルでフレーム全体から開始する必要があり、以下を行う。

（ａ）カテゴリを示すコードを生成する（ルート・レベルの場合、部分ブロックとなる）。テストされた実施形態では、部分的として分類されたブロックは、使用される最小のコード数で表される（例えば、０）。

（ｂ）生成された最後のコードが部分ブロックに対するものであれば、フレームは４つの四分木表現サブブロックに分割される。

（ｃ）それらのサブブロックは、次に、ラスター順序で順次選択され、それぞれについて、カテゴリを示すコード（つまり、Ｔ、Ｏ、Ｐ）が生成される。

（ｄ）サブブロックが部分ブロックであると判明した場合、次のサブブロックに進む前に、ステップ（ｂ）から（ｄ）が、サブブロックが所定の最小サイズ（つまり、テストされた実施形態では８×８）でない限り、考察対象のサブブロック（全体としてフレームではなく）について繰り返される。

符号化された四分木データは、画像データおよび次に説明するその他のデータとともに、圧縮された境界層フレームの一部となる。しかし、この他のデータを生成するためには前述のブロックの分類が必要であり、したがって、その目的のために保持されることに留意されたい。

ブロック分類データが符号化された後、圧縮プロセスは、定義済み順序でフレームのこれまで未選択の所定のサイズのブロックの選択を続ける（プロセス・アクション６０６）。テストされた実施形態では、１６×１６ピクセル・ブロックが採用され、ラスター順序で選択された。現在選択されているフレーム・ブロックは、所定の数のサブブロックに分割され、これらは、すでに分類されているブロックのサイズおよび位置に対応する（プロセス・アクション６０８）。テストされた実施形態では、フレーム・ブロックは、４つの８×８ピクセル象限サブブロックに分割される。

次に、選択されたフレーム・ブロックのすべてのサブブロックが透明であるとして分類されるかどうかを判別する（プロセス・アクション６１０）。そうであれば、コードは生成されず、プロセス・アクション６０６から６１０は、次のフレーム・ブロックについて繰り返される。サブブロックのどれかが透明でない場合、サブブロックはどれかが部分ブロックとして分類されるかどうかを判別する（プロセス・アクション６１２）。そうであれば、それらのうちこれまで未選択のものが選択される（プロセス・アクション６１４）。選択された部分サブブロックについてバイナリ・マスクが生成され、符号化される（プロセス・アクション６１６）。このバイナリ・マスクは、まず、小さな所定のサブブロック・レベルに縮小することを除き、すでに説明されている四分木手続きを実行することで生成される。テストされた実施形態では、この最低の所定のレベルは２×２ピクセル・サブブロックである。しかし、最低レベルのサブブロックを部分的であるとして符号化するのではなく、そのようなブロックは、代わりにどのピクセルが不透明であり、どのピクセルが透明であるかを示すように符号化される。そこで、一方の２進値を使用して、不透明ピクセルを指示し、他方の２進値を使用して、透明ピクセルを指示する。テストされた実施形態では、前述の最低レベルの部分サブブロック符号化は、ラスター順序を使用して生成される４ビットコードである。そうして、本発明のテストされた実施形態で使用されるＭＰＥＧ４ Ｈｕｆｆｍａｎｎ可変長符号化法などの適切な圧縮手続きを使用して、その結果得られる四分木を符号化する。選択された部分サブブロックの符号化されたバイナリ・マスク・データも、図６Ｃに示されているように圧縮されたフレームの一部となる。

次に、符号化手続きを手短に説明しやすくするために、選択された部分サブブロックの透明ピクセルが「フィル・イン」される（プロセス・アクション６１８）。これは、例えば、ＭＰＥＧ４規格の繰り返しパディング法を使用して、または非透明なピクセルに基づいて平均値をフィル・インすることにより、行うことができる。その後、選択されたフレーム・ブロック内にまだ選択されていない部分サブブロックが残っていないか判別される。もし残っていれば、プロセス・アクション６１４から６２０が、残っている部分サブブロックのそれぞれについて繰り返される。残っていなければ、圧縮プロセスは以下のように続く。

次に、選択されたフレーム・ブロックが符号化される。本質的に、これは、Ａプレーン・データが追加され、非透明サブブロックのみが符号化されることを除き、Ｉフレームの主層の符号化に関してすでに説明されているのと同じ方法で実行される。そこで、選択されたフレーム・ブロックのＲＧＢ値が、Ｙｕｖ値に変換され（プロセス・アクション６２２）、ｕおよびｖプレーンはダウン・サンプリングされ、ｕおよびｖサブブロックが出力される（プロセス・アクション６２４）。さらに、Ｙ、Ｄ、およびＡプレーンが、ｕおよびｖサブブロックと同じサイズである複数のサブブロックに分割される（プロセス・アクション６２６）。この時点で、Ｙ、Ａ、またはＤサブブロックのどれかが透明ピクセルのみを含むかどうかが判別される（プロセス・アクション６２８）。サブブロックサイズは、フレームを分類するために使用されるサイズと同じであり、この分類データは、前述の判別を行うために直接使用することができる。透明サブブロックは、プロセス・アクション６３０では考察対象から外される。考察されるフレーム・ブロックは少なくとも１つの不透明または部分サブブロックを含むので、またｕおよびｖサブブロックはフレーム・ブロックのダウン・サンプリング・バージョンであるので、これらは自動的に、非透明サブブロックであるとしてみなされることに留意されたい。

次に、残りのサブブロック（ｕおよびｖサブブロックを含む）は、所定のパターンで順序付けされる（プロセス・アクション６３２）。テストされた実施形態では、順序付けは、順序番号（例えば、１、２、３、．．．）を、ラスター順序で非透明Ｙサブブロックから始まり、その後にｕおよびｖサブブロックが続くそれぞれのサブブロックに割り当てることを伴っていた。非透明Ａサブブロックは、次に順序番号を割り当てられ、その後に非透明Ｄサブブロックが、それぞれラスター順序で続く。

その後、符号化は、キー・フレームの主層の符号化に関して説明されているように進行する。つまり、順序付けられたサブブロックに対し、ＤＣＴ（プロセス・アクション６３４）、ＤＣ成分予測、および差分計算（プロセス・アクション６３６）、量子化（プロセス・アクション６３８）、符号化（プロセス・アクション６４０）、およびビットストリーム生成（プロセス・アクション６４２）が適用される。しかし、この手順は、非透明Ａサブブロック・データが処理に含まれ、ＣＢＰヘッダがＣＢＰＹおよびＣＢＰＤセクションと同じように符号化されたＣＢＰＡセクションを含むように拡張されるという点で修正されている。さらに、ＣＢＰＹ、ＣＢＰＡ、およびＣＢＰＤセクションは、データ内に見つかっていたであろうサブブロックが、透明であるため排除されたかどうか、を示す。ＤＣ予測アクションで必要とされる隣接サブブロックの一部が、排除された透明サブブロックである場合があるため、アプリケーションに適した中間範囲のＤＣ成分値が、欠損しているサブブロックのＤＣ成分の代わりに使用されることに留意されたい。

その結果符号化されたＹ、ｕ、ｖ、Ａ、およびＤデータは、このデータを圧縮されたフレーム・データとして指定することにより、図６Ｃに示されているように、符号化された分類データおよびバイナリ・マスク・データとともに圧縮された境界層フレームの一部となる（プロセス・アクション６４４）。

次に、未選択のフレーム・ブロックが残っているかどうかが判別される（プロセス・アクション６４６）。残っていれば、プロセス・アクション６０６から６４６が、残りのブロックについて繰り返され、残りがなくなったら、プロセスは終了する。

１．２．２ 圧縮解除
すでに示されているように、インターラクティブ視点ビデオにより、ユーザは、自分がビデオの現在の部分に示されているシーンを見るために使用したい視点を選択することができる。このユーザ選択視点は、カメラ視野の１つと一致している場合もあれば、あるいは２つのカメラ視野の間に入る可能性も高い。そこで、選択された視点から示されているシーンの画像を生成するために、ビデオの各時間フレーム集合を構成する複数の同時にキャプチャされたフレームに関連付けられている限られた量のデータのみが必要である。これにより、ビデオ・データを選択的に復号化し、圧縮解除することができる。一般に、ビデオを見るユーザによって選択された有利な地点からビデオの現在のフレームをレンダリングするために必要な受信ビデオ・データの一部だけが復号化される。このようにして、可能な最低量のデータが処理されなければならず、それによってプロセスがスピードアップし、レンダリング機能が高速化される。

必要なビデオ・データが得られたら、復号化される。一般に、前述の圧縮プロセスを介して符号化された構成要素フレームの主層および境界層データを復号化することに関連付けられた圧縮解除プロセスは、それらのプロセスの逆プロセスにすぎない。しかし、圧縮解除プロセスの一部は、一意的なアクションを含む。次に圧縮解除プロセスについて説明する。

１．２．２．１ キー・フレームの主層の圧縮解除
前述の非予測Ｉフレーム法を使用して圧縮された符号化キー・フレームの主層の圧縮解除は、大半が、いくつか例外はあるが、圧縮の逆である。この圧縮解除プロセスは、一般的に、符号化された所定の順序で、復号化されるフレームの所定のサイズのブロック（例えば、テストされた実施形態のように１６×１６）に対応する圧縮プロセス内で生成されたデータ・ストリームの各部分を取得し、その後各データ・ストリーム部分を圧縮解除することにより、実行される。

より具体的には、図７を参照すると、フレームの前述のブロックに対応するデータ・ストリームの部分毎に、その部分が拡大され、排除されたＡＣ周波数成分をリストアすることが示されている（プロセス・アクション７００）。これは、複数のゼロ（例えば、８×８周波数ブロックの場合には６３個のゼロ）を、ゼロ値のＡＣ成分が符号化された周波数ブロック・データから削除されていることをＣＢＰヘッダが示す場所のデータ・ストリームに、追加することを伴う。その後、拡大されたデータ・ストリーム部分は、符号化したのと同じ方法に関連付けられている特定の復号化手続きを使用して復号化される（プロセス・アクション７０２）。例えば、ＭＰＥＧ４可変長Ｈｕｆｆｍａｎ符号化スキームが採用された場合、ＭＰＥＧ４ Ｈｕｆｆｍａｎ復号化手続きが、データ・ストリームの復号化に使用されるであろう。次に、各周波数ブロック（もしあれば）の周波数成分を順序付けする圧縮プロセスで採用されている走査パターンの逆が適用され、それらの成分は元の順序にリストアされる（プロセス・アクション７０４）。例えば、ジグザグ・パターンが本発明のテストされた実施形態の場合のように採用されると、逆ジグザグ走査パターンを使用して、元の成分順序をリストアする。

次に、逆ＤＣ成分予測および量子化手続きが、リストアされた周波数ブロックのそれぞれで実行される（プロセス・アクション７０６）。テストされた実施形態では、これは、逆交換ＤＣ予測法および逆量子化法を（ＭＰＥＧ−４と似た方法で）使用して実行される。このアクションの結果として、元のＤＣ成分がそれぞれの周波数ブロックにリストアされる。次に、元のＹ、ｕ、ｖ、およびＤサブブロックに対し実行されるＤＣＴの逆がリストアされた周波数ブロックに適用され、これらのサブブロックの元のＹ、ｕ、ｖ、およびＤ値の近似が得られる（プロセス・アクション７０８）。その結果得られるｕおよびｖサブブロックは、アップ・サンプリングされ、プロセス・アクション７１０において、元のプレーン・サイズ（例えば、テストされた実施形態では１６×１６）に戻される。さらに、プロセス・アクション７１２で、ＹおよびＤサブブロックは、圧縮時に元のプレーンを分割するために使用された順序（例えば、テストされた実施形態ではラスター順序）で結合され、元のサイズ（例えば、テストされた実施形態では１６×１６）のＹおよびＤプレーンを形成する。

最後に、Ｙ、ｕ、およびｖピクセル値は、標準の方法を使用してＲＧＢ値に変換して戻され（プロセス・アクション７１４）、圧縮解除プロセスは終了する。この結果が、所定のサイズ（例えば、１６×１６）のピクセルのリストアされたブロックであり、それぞれのピクセルはＲ、Ｇ、Ｂ、およびＤ値を割り当てられている。

１．２．２．２ Ｐフレームを使用するキー・フレームの主層の圧縮解除
前述のＰフレーム手続きを使用して圧縮された各同時発生の複数のフレームからなる集合内のキー・フレームの主層の圧縮解除が、従来のフレーム間圧縮解放法を使用して実行される。テストされた実施形態では、これは、ＭＰＥＧ４規格のＰフレーム復元方式を使用することを含む。この方式に対する唯一の修正は、ディスパリティ値（Ｄ）の復元であり、これは主フレーム・ピクセル・データにこのデータが含まれているためである。Ｄデータは、で前述のＩフレーム圧縮解除手続きの場合と同じ方法で復元され、ここでは、このデータはＹデータの復元とまったく同じようにして処理される。

１．２．２．３ 非キー・フレームの主層の圧縮解除
次に、前述の空間予測圧縮法を使用して圧縮された非キー・フレームの符号化された主層の圧縮解除について説明する。すでに説明したように、同時発生の複数のフレームからなる各集合の非キー・フレーム画像は、考察対象の非キー・フレーム画像を圧縮する際に基準フレームとして採用された、集合内の圧縮解除されたキー・フレームを使用して、圧縮解除される。特に、図８Ａ〜Ｂを参照すると、同時発生の複数のフレームからなる各集合内のそれぞれの非キー・フレームについて、まず、その基準フレームとしてその集合内のどのキーフレーム（複数ある場合）が使用されたかが判別される（プロセス・アクション８００）。これは、圧縮解除モジュールをキー・フレーム選択および関連付けルールを使用して事前プログラムすることにより実行され、これらは、キー・フレームに関連付けられているすべての非キー・フレームを識別するために使用することができる。次に、このキー・フレームの圧縮解除バージョンをＹｕｖＤ形式でピクセル・データとともに入力する（プロセス・アクション８０２）。次に、キー・フレームのディスパリティ・データ（Ｄ）と、キー・フレームおよび圧縮解除される非キー・フレームをキャプチャするために使用されるカメラのカメラ・パラメータ（圧縮ビデオ・データに含まれている）とを使用して、そのテクスチャ・データおよびディスパリティ・データ（ＹｕｖＤ）の両方を圧縮解除される非キー・フレームの視点に変換する（プロセス・アクション８０４）。非キー・フレーム画像の圧縮の場合のように、キー・フレームの主層を圧縮解除される非キー・フレームの視点に「ワープ」するために使用されるプロセスは、従来の方法を使用して実行される。

その一方で、圧縮解除される非キー・フレームに関連付けられている圧縮された非キー・フレーム画像データが入力される（プロセス・アクション８０６）。非キー・フレーム・データの圧縮に関して説明されているように、画像のそれぞれの所定のサイズのブロックに対するブロック・モード指定子は、非キー・フレーム・データ内に含まれる。その後、圧縮解除される非キー・フレームのこれまで未選択のブロックは、ブロックが圧縮された順序と一致する所定の順序で選択される（プロセス・アクション８０８）。テストされた実施形態では、ラスター順序が使用された。次に、ブロック・データ内に含まれるブロック・モード指定子を使用して、選択されたブロックが直接ブロックであるか差分画像ブロックであるかが判別される（プロセス・アクション８１０）。選択されたブロックが差分画像ブロックであることがわかった場合、これは、いくつかのキー・フレームの圧縮解除に関してすでに説明されているＩフレーム圧縮解除法の修正バージョンを使用して復号化される。これらの修正は、予測手続きがデータ圧縮時に実行されなかったときに逆ＤＣ予測ステップをスキップすることを伴う。さらに、標準の復号化テーブルを使用してＤＣ成分を復号化する（ＭＰＥＧ４ Ｈｕｆｆｍａｎｎ ＤＣ周波数成分テーブルなど）代わりに、ＡＣ周波数成分を復号化するための復号化テーブルが使用される。これらの変更以外、圧縮解除手続きは同じである。

復号化された後、差分ブロックの各ピクセルのピクセル値が、復号化されワープされたキー・フレーム画像のそれに対応して配置されたブロックの対応するピクセル値に加えられる（プロセス・アクション８１４）。この最後のアクションの結果は、非キー・フレーム画像の選択されたブロックのリストアされた近似である。その後、このリストアされたブロックは、そのブロックの割り当てられた位置で構成される圧縮解除フレーム内に挿入される（プロセス・アクション８１６）。この位置は、ブロックが圧縮された順序で決定することができる。

しかし、選択されたブロックが直接ブロックであることがわかった場合、Ｉフレーム圧縮解除法の別の修正バージョンを使用して復号化される（プロセス・アクション８１８）。この場合の修正は、圧縮解除プロセスの逆ＤＣ予測ステップを変更することを含む。より具体的には、逆ＤＣ周波数成分予測ステップを実行する際に、まず、圧縮解除される直接ブロックのＤＣ周波数成分をリストアするために使用される隣接ブロックのそれぞれが直接ブロックであるか、または差分ブロックであるかをそれぞれ判別する。隣接ブロックが直接ブロックの場合、そのＤＣ周波数成分は、逆ＤＣ周波数成分予測ステップで通常実行されるように使用される。しかし、隣接ブロックが差分ブロックの場合、そのＤＣ成分は無視され、その代わりに、逆ステップでは所定の中間範囲ＤＣ周波数成分値が採用される。選択された直接ブロックが復号化された後、これは、圧縮解除される非キー・フレーム画像の一部を構成するために使用される。より具体的には、プロセス・アクション８２０で、復号化されたブロックが、そのブロックの割り当てられた位置に構成される圧縮解除されたフレーム内に挿入される（ブロックが圧縮された順序−テストされた実施形態でのラスター順序など−で決定できる）。

次に、圧縮解除される非キー・フレームのすべてのブロックが処理されたかどうかが判別される（プロセス・アクション８２２）。そうでない場合、プロセス・アクション８０８から８２２が、すべてのブロックが復号化されるまで繰り返され、復号化されると、圧縮解除プロセスは終了する。その結果は、元の非キー・フレーム画像のリストアされた近似である。

１．２．２．４ 境界層データの圧縮解除
次に、前述の非予測Ｉフレーム方式を使用して圧縮され符号化された境界層の圧縮解除について説明する。図９Ａ〜Ｃを参照すると、圧縮解除プロセスは、圧縮されたフレーム・データに含まれる分類データを復号化することから始まる（プロセス・アクション９００）。これは、分類データを圧縮するために使用される手続きに適用可能な特定の復号化手続きを適用し（例えば、テストされた実施形態ではＨｕｆｆｍａｎｎ符号化法）、その後、圧縮プロセスで使用される所定のサイズのブロック（例えば、テストされた実施形態では８×８）のそれぞれに割り当てられたカテゴリ（つまり、Ｔ、Ｏ、またはＰ）を取得するために逆四分木手続きを実行することを含む。

上述のように、境界層フレームの圧縮は、符号化の前に透明サブブロックを排除することを含んでいる。復号化された分類データを使用して、最終的にリストアされるようにそれらの排除されたサブブロックを識別し、サブブロックが符号化されたＹｕｖＡＤデータ内に見つかる順序を識別する。この目的のために、プロセス・アクション９０２で、圧縮プロセスで採用されている同じサイズのこれまで未選択であるフレーム・ブロックが、圧縮で使用される所定の順序で選択される。テストされた実施形態では、フレーム・ブロックは、それぞれ、１６×１６ピクセルであり、ラスター順序が使用された。その後、分類データから、選択されたブロックに含まれる圧縮プロセスで使用されるサイズの非透明サブブロックがあるかどうかが判別される（プロセス・アクション９０４）。テストされた実施形態では、サブブロックは８×８象限ブロックであった。非透明サブブロックが見つからない場合、プロセス・アクション９０２および９０４は繰り返される。非透明サブブロックを持つフレーム・ブロックが見つかった場合、（複数の）非透明サブブロックのうちこれまで未選択であったものが１つ選択され、複数ある場合には圧縮で使用される順序（例えば、テストされた実施形態ではラスター順序）となる。その後、選択されたサブブロックに対応する圧縮されたＹｕｖＡＤデータの部分は、考察対象のフレーム・ブロックのＣＢＰヘッダを使用して識別される（プロセス・アクション９０８）。

このときに、圧縮解除手続きは、非予測Ｉフレーム法を使用して圧縮されたキー・フレームの主層を復号化するために使用される手続きと類似の手続きとなる。より具体的には、考察対象のフレーム・ブロックに関連付けられたＣＢＰヘッダが、選択されたサブブロックに関連付けられた符号化された周波数ブロック・データからゼロ値ＡＣ成分が削除されたことを示す場合に、必ず、圧縮データの識別された部分は、最初に、ゼロを加えることにより拡大される（プロセス・アクション９１０）。拡大されたデータは、その後、プロセス・アクション９１２で、使用される符号化の種類（例えば、テストされた実施形態ではＨｕｆｆｍａｎｎ符号化）に適した特定の復号化手続きを使用して復号化される。圧縮プロセスで使用される走査パターンの逆（例えば、テストされた実施形態では逆ジグザグ）を使用して、復号化された周波数成分を順序付けし、元の周波数ブロックを再現する（プロセス・アクション９１４）。その後、逆ＤＣ成分予測および逆量子化手続きが実行され（プロセス・アクション９１６）、選択された周波数ブロックの元のＤＣ成分が出力される。次に、逆ＤＣＴが実行され、選択されたサブブロックの元のＹ、ｕ、ｖ、Ａ、およびＤ値の近似が出力される（プロセス・アクション９１８）。その結果得られるｕおよびｖサブブロック・プレーンは、アップ・サンプリングされ、プロセス・アクション９２０において、元のサイズ（例えば、１６×１６）に戻される。次に、選択されたサブブロックに対応するアップ・サンプリングされたｕおよびｖプレーンの象限は、そのサブブロックに対するｕおよびｖプレーンとして指定される（プロセス・アクション９２２）。この結果、圧縮解除プロセスのその時点では、選択されたサブブロックの各ピクセルについて復号化されたＹ、ｕ、ｖ、Ａ、およびＤ値が存在する。

次に、選択されたサブブロックのＹｕｖピクセル値は、ＲＧＢ値に変換されて戻され（プロセス・アクション９２４）、ＲＧＢＡＤ値はそのサブブロックのピクセル毎に指定される。その後、選択されたサブブロックが部分ブロックとして分類されるかどうかが判定される（プロセス・アクション９２６）。境界層データを圧縮する際に、部分サブブロックは前述のように繰り返しパディング法を適用されている。この無関係のデータを除去するために、そのサブブロックについて生成され、圧縮フレーム・データに含まれる、バイナリ・マスクが、圧縮プロセスで使用された符号化の種類（例えば、テストされた実施形態ではＨｕｆｆｍａｎｎ符号化）に適した復号化手続きとその後に続く逆四分木手続きを使用して、再現される（プロセス・アクション９２８）。その後、復号化されたマスクは、選択された部分サブブロックに適用され、すべての非不透明ピクセルは透明にされる（プロセス・アクション９３０）。

その後、選択されたフレーム・ブロックのすべての非透明サブブロックが処理されたかどうかが判別される（プロセス・アクション９３２）。処理されていなければ、プロセス・アクション９０６から９３２が、残っている非透明サブブロックのそれぞれについて繰り返される。この時点で、選択されたフレーム・ブロックのすべての非透明サブブロックは圧縮解除されている。フレーム・ブロックの他のサブブロックは完全に透明であることが知られているので、プロセス・アクション９３４で、すべての透明ピクセルを持つサブブロックが追加される。その後、圧縮解除される境界層フレームのすべてのフレーム・ブロックが処理されたかどうかが判別される（プロセス・アクション９３６）。処理されていなければ、プロセス・アクション９０２から９３６が、すべてのフレーム・ブロックが検討されるまで繰り返される。こうして、圧縮解除プロセスは終了する。

２．０ 参考文献

本発明を実装するための典型的なシステムを構成する汎用コンピューティング・デバイスを示す図である。 本発明により圧縮および圧縮解除が行われる複数のビデオ・ストリームをキャプチャするために複数のビデオ・カメラを使用する典型的なビデオ・キャプチャシ・ステムを示す図である。 本発明によりマルチ・ストリーム・ビデオ・データの同時にキャプチャされたフレームの各集合の主層が時間および空間のハイブリッド圧縮スキームを使用してどのように符号化されるかを例示するブロック図である。 本発明による非予測Ｉフレーム圧縮法を使用してキー・フレームの主層を圧縮するプロセスを表す流れ図である。 本発明による非予測Ｉフレーム圧縮法を使用してキー・フレームの主層を圧縮するプロセスを表す流れ図である。 本発明による予測空間圧縮法を使用して非キー・フレームの主層画像を圧縮するプロセスを表す流れ図である。 本発明による予測空間圧縮法を使用して非キー・フレームの主層画像を圧縮するプロセスを表す流れ図である。 本発明による非予測Ｉフレーム圧縮法を使用して境界層データを圧縮するプロセスを表す流れ図である。 本発明による非予測Ｉフレーム圧縮法を使用して境界層データを圧縮するプロセスを表す流れ図である。 本発明による非予測Ｉフレーム圧縮法を使用して境界層データを圧縮するプロセスを表す流れ図である。 本発明によるＩフレーム圧縮解除法を使用してキー・フレームの主層を圧縮解除するプロセスを表す流れ図である。 本発明による空間圧縮解除法を使用して非キー・フレームの主層画像を圧縮解除するプロセスを表す流れ図である。 本発明による空間圧縮解除法を使用して非キー・フレームの主層画像を圧縮解除するプロセスを表す流れ図である。 本発明によるＩフレーム圧縮法を使用して境界層データを圧縮解除するプロセスを表す流れ図である。 本発明によるＩフレーム圧縮法を使用して境界層データを圧縮解除するプロセスを表す流れ図である。 本発明によるＩフレーム圧縮法を使用して境界層データを圧縮解除するプロセスを表す流れ図である。

符号の説明

１００ コンピューティング・システム環境
１１０ コンピュータ
１２０ 演算処理装置
１２１ システム・バス
１３０ システム・メモリ
１３４ オペレーティング・システム
１３５ アプリケーション・プログラム
１３６ その他のプログラム・モジュール
１３７ プログラム・データ
１４０ 取り外し不可能不揮発性メモリ・インターフェース
１４１ ハードディスク・ドライブ
１４４ オペレーティング・システム
１４５ アプリケーション・プログラム
１４６ その他のプログラム・モジュール
１４７ プログラム・データ
１５０ 取り外し可能不揮発性メモリ・インターフェース
１５１ 磁気ディスク・ドライブ
１５２ 磁気ディスク
１５５ 光ディスク・ドライブ
１５６ 光ディスク
１６０ ユーザ入力インターフェース
１６１ マウス
１６２ キーボード
１７０ ネットワーク・インターフェース
１７１ ローカル・エリア・ネットワーク
１７２ モデム
１７３ ワイド・エリア・ネットワーク
１８０ リモート・コンピュータ
１８１ メモリ記憶デバイス
１８５ リモート・アプリケーション・プログラム
１９０ ビデオ・インターフェース
１９１ モニタ
１９２ カメラ
１９３ 画像シーケンス
１９４ カメラ・インターフェース
１９５ 出力周辺インターフェース
１９６ プリンタ
１９７ スピーカ
２００ カメラ
３００ キー・フレーム・カメラ視野
３０２ 特定の非キー・フレーム
３０４ 曲線
３０６ 時間予測フレーム

Claims (40)

1. 同時発生の複数のビデオ・フレームからなる順次的な複数の集合であって、１つの集合内の前記複数のビデオ・フレームは、異なる視点からの実質的に同じシーンを表し、そのそれぞれのフレームは少なくとも主層および境界層により表される、複数の集合を含むビデオ・データを圧縮するコンピュータにより実装されるプロセスであって、前記プロセスはコンピュータを使用して、
   同時発生の複数フレームからなる各集合に対し１つまたは複数のキー・フレームを指定するプロセス・アクションであって、同時発生の複数フレームからなるどれか１つの集合内のそれぞれの指定されたキー・フレームが、同時発生の複数フレームからなる前記他のすべての集合内の指定されたキー・フレームと同じである視点を持つように、指定するプロセス・アクションと、
   時間系列順序で同時発生の複数のビデオ・フレームからなる集合毎に、
   フレーム間圧縮手法を使用して各キー・フレームの前記主層を圧縮するプロセス・アクションと、
   空間予測圧縮手法を使用して各非キー・フレームの前記主層を圧縮プロセス・アクションと、
   フレーム内圧縮手法を使用して各フレームの前記境界層を圧縮するプロセス・アクションと
   を実行するプロセス・アクションと、
   を備えることを特徴とするコンピュータにより実装されるプロセス。
2. 同時発生の複数フレームからなる各集合の各フレームは、そのピクセルがピクセル色値およびピクセル・ディスパリティまたは深度値により特徴付けられる前記主層と、そのピクセルがピクセル色値、ピクセル・アルファ値およびピクセル・ディスパリティまたは深度値により特徴付けられる前記境界層とにより表され、フレーム間圧縮法を使用して同時発生の複数フレームからなる各集合内の各キー・フレームの前記主層を圧縮する前記プロセス・アクションは、
   所定の周期をベースにして、前記第１のビデオ・フレーム集合および他の後続のフレーム集合に対し、最低でもピクセル色値、さらにはピクセル・ディスパリティまたは深度値を符号化する非予測Ｉフレーム圧縮法を使用して、各キー・フレームの前記主層を圧縮するアクションと、
   前記非予測Ｉフレーム圧縮法を使用して圧縮されない１つまたは複数のキー・フレームを含む各フレーム集合について、先行するフレーム集合内の同じ視点を示す前記キー・フレームの前記主層に基づき、最低でもピクセル色値、さらにはピクセル・ディスパリティまたは深度値を符号化する、時間予測圧縮法を使用して各キー・フレームの前記主層を圧縮するアクションと
   を備えることを特徴とする請求項１に記載のプロセス。
3. 同時発生の複数フレームからなる各集合内の各非キー・フレームの前記主層を圧縮する前記プロセス・アクションは、最低でもピクセル色値、さらにはピクセル・ディスパリティまたは深度値を符号化する空間予測圧縮法を使用して、同時発生の複数フレームからなる各集合内の各非キー・フレームの前記主層を圧縮するアクションを備えることを特徴とする請求項２に記載のプロセス。
4. 同時発生の複数フレームからなる各集合について１つまたは複数のキー・フレームを指定する前記プロセス・アクションは、集合内のどのフレームも指定されたキー・フレームの視点から所定の視点個数分を超えて離れないように前記１つまたは複数のキー・フレームを指定するアクションを含み、同時発生の複数フレームからなる各集合内の各非キー・フレームの前記主層を圧縮する前記プロセス・アクションは、圧縮される前記主層から前記所定の視点個数以下の個数分だけ離れているキー・フレーム位置のフレームの前記主層を前記空間予測圧縮法の基準フレームとして使用するアクションを備えることを特徴とする請求項３に記載のプロセス。
5. 前記キー・フレームの可能な最低数が指定されることを特徴とする請求項４に記載のプロセス。
6. 前記所定の視点個数は２であることを特徴とする請求項４に記載のプロセス。
7. 各フレーム集合内の各フレームの前記境界層を圧縮する前記プロセス・アクションは、最低でもピクセル色値、ピクセル・ディスパリティまたは深度値、およびピクセル・アルファ値を符号化する非予測Ｉフレーム圧縮法を使用して、各フレーム集合内の各フレームの前記境界層を圧縮するアクションを備えることを特徴とする請求項２に記載のプロセス。
8. 前記ピクセル色値は、ＲＧＢ値であり、前記第１のビデオ・フレーム集合および他の後続のフレーム集合に対し非予測Ｉフレーム圧縮法を使用して各キー・フレームの前記主層を圧縮する前記プロセス・アクションは、ブロック毎に実行され、所定のサイズのフレーム・ブロック毎に、
   考察対象の前記フレーム・ブロックの前記ＲＧＢ値をＹｕｖ値に変換するアクションと、
   前記フレーム・ブロックの前記ｕおよびｖプレーンをダウン・サンプリングして、所定のサイズのサブブロックを生成するアクションと、
   前記フレーム・ブロックの前記Ｙおよびピクセル・ディスパリティまたは深度（Ｄ）プレーンを前記所定のサイズのサブブロックに分割するアクションと、
   前記Ｙ、ｕ、ｖ、およびＤサブブロックのそれぞれに、所定のパターンを介して順序番号を割り当てるアクションと、
   前記Ｙ、ｕ、ｖ、およびＤサブブロックのそれぞれをＤＣＴ領域に変換し、前記サブブロックと同じサイズの周波数ブロックを生成するアクションと、
   ＤＣ成分予測法を各周波数ブロックに適用し、各周波数ブロック内の前記ＤＣ成分を、隣接周波数ブロックに基づいて予測されたＤＣ成分値と前記実際の値との前記差分を表す値で置き換えるアクションと、
   各周波数ブロックの前記ＡＣ周波数成分を量子化するアクションと、
   前記すでに割り当てられているブロック番号の順序で各周波数ブロックを符号化する符号化アクションであって、前記符号化は、所定のパターンを使用して各ブロックの前記周波数成分を順序付けし、その後Ｉフレーム可変長符号化法を使用して前記順序付けされた成分を符号化する、符号化アクションと、
   前記周波数ブロックの前記符号化された周波数値から、それらが符号化されている前記順序で、ビットストリームを生成するアクションと
   を含む複数のアクションを備えることを特徴とする請求項２に記載のプロセス。
9. 各フレーム・ブロックは、サイズが１６×１６ピクセルであり、ラスター順序で符号化されることを特徴とする請求項８に記載のプロセス。
10. 前記周波数成分を順序付けするために使用される前記所定のパターンは、ジグザグ・パターンであり、前記Ｉフレーム可変長符号化法は、ＭＰＥＧ４ Ｈｕｆｆｍａｎ符号化法であることを特徴とする請求項８に記載のプロセス。
11. 前記周波数ブロックの前記符号化された周波数値からビットストリームを生成する前記プロセス・アクションは、
    データ構造体を含む各周波数ブロックに対するビットストリームを生成するアクションを備え、
    前記データ構造体は、
    Ｙ、ｕ ｖ、およびＤサブブロックを表す前記周波数ブロックがそれぞれ、非ゼロのＡＣ周波数成分を持つかどうかを示すＣＢＰＹ、ＣＢＰｕ、ＣＢＰｖ、およびＣＢＰＤセクションを備えるＣＢＰヘッダ・フィールドと、
    周波数ブロックのすべての前記ＡＣ成分がゼロである場合には必ずＤＣ差分値のみが含まれることを除き、前記周波数ブロックの前記符号化された周波数値を符号化される順序で備える符号化された周波数成分フィールドと
    を備えることを特徴とする請求項８に記載のプロセス。
12. 前記ＣＢＰヘッダの前記ＣＢＰＹ、ＣＢＰｕ、ＣＢＰｖセクションは、ＭＰＥＧ４に従って符号化され、前記ヘッダの前記ＣＢＰＤセクションは、前記ＣＢＰＹセクションの前記ＭＰＥＧ４符号化と同じやり方で符号化されることを特徴とする請求項１１に記載のプロセス。
13. 前記非予測Ｉフレーム圧縮法を使用して圧縮されない１つまたは複数のキー・フレームを含む各フレーム集合に対し、時間予測圧縮法を使用して各キー・フレームの前記主層を圧縮する前記プロセス・アクションは、前記ピクセル・ディスパリティまたは深度値を含むように修正された前記ＭＰＥＧ４規格のＰフレーム生成方式を使用するアクションを備えることを特徴とする請求項２に記載のプロセス。
14. 空間予測圧縮法を使用して、同時発生の複数フレームからなる各集合内の各非キー・フレームの前記主層を圧縮する前記プロセス・アクションは、
    圧縮される前記非キー・フレームから所定の視点個数分の範囲内にあるキー・フレームを識別するアクションと、
    前記識別されたキー・フレームの前記ピクセル・データを入力するアクションと、
    前記識別されたキー・フレームの前記ピクセル色値をＹｕｖ値に変換するアクションと、
    前記識別されたキー・フレームおよび圧縮される前記非キー・フレームをキャプチャするために使用されるカメラの位置、向き、およびカメラ属性を示すカメラ・パラメータを入力するアクションと、
    前記識別されたキー・フレームの深度値（Ｄ）の前記ディスパリティと、前記キー・フレームおよび圧縮解除される前記非キー・フレームをキャプチャするために使用される前記カメラの前記カメラ・パラメータとを使用して、圧縮解除される前記非キー・フレームの前記視点に前記識別されたキー・フレームをワープするアクションと、
    ＹｕｖＤ値を持たない前記ワープされたキー・フレームのピクセルを識別するアクションと、
    前記ワープされたキー・フレームのピクセル位置毎にＹｕｖＤピクセル値が使用可能である場合に一方の２進値を、ＹｕｖＤ値が存在しない場合に他方の２進値を持つバイナリ・マスクを生成するアクションと、
    所定のピクセル数だけの使用可能なＹｕｖＤ値がないことを示す前記バイナリ・マスクの前記領域を拡張するアクションと、
    前記バイナリ・マスクを所定のサイズのブロックのグリッドに分割するアクションと、
    ブロック毎に、そのブロック内の前記バイナリ・マスク・ピクセルのどれもが、ＹｕｖＤ値が存在しない領域に関連付けられた前記第２の２進値を持つかどうかを示す、モード指定を確立するアクションと、
    前記ワープされたキー・フレームの各ピクセルの前記ピクセル値を、圧縮される前記非キー・フレーム画像の前記対応するピクセルの類似の型の値から差し引き、差分画像を出力するアクションと、
    前記非キー・フレームおよび前記差分画像を、前記バイナリ・マスクを分割するために使用されるサイズと同じサイズのブロックに、セグメント分割するアクションと、
    前記非キー・フレームおよび差分画像の対応する配置のブロック毎に、所定の順序で考察して、
    前記ブロックが、前記ブロックの前記モード指定を使用してＹｕｖＤ値を持たないピクセルを備える前記ワープされたキー・フレームの領域に関連付けられているかどうかを判別し、
    前記ブロックが、ＹｕｖＤ値を持たないピクセルを備える前記ワープされたキー・フレームの領域に関連付けられていると判明した場合に必ず、隣接するブロックのピクセルがすべてＹｕｖＤ値を持つ場合に必ず前記隣接ブロックに関連付けられる実際の値の代わりに、ＤＣ周波数成分予測フェーズで所定の中間範囲ＤＣ周波数成分値を使用するＩフレーム圧縮法のあるバージョンを使用して、前記非キー・フレームの前記ブロックを符号化し、
    前記ブロックが、すべてＹｕｖＤ値を持つピクセルを含む前記ワープされたキー・フレームの領域に関連付けられていると判明した場合に必ず、ＤＣ周波数成分予測フェーズがスキップされ、前記ＤＣ周波数成分を符号化するためにＡＣ周波数成分符号化テーブルが使用されるＩフレーム圧縮法のあるバージョンを使用して、前記差分画像の前記ブロックを符号化し、
    前記ブロックの前記モード指定を前記符号化された前記ブロック・データに付加する
    アクションと
    を備えることを特徴とする請求項３に記載のプロセス。
15. 前記ピクセル色値は、ＲＧＢ値であり、最低でもピクセル色値、ピクセル・ディスパリティまたは深度値、およびピクセル・アルファ値を符号化する非予測Ｉフレーム圧縮法を使用して各フレーム集合内の各フレームの前記境界層を圧縮する前記プロセス・アクションは、
    圧縮される前記境界層フレームの前記ＲＧＢピクセル色、ピクセル・アルファ（Ａ）、およびピクセル・ディスパリティまたは深度（Ｄ）データを入力するアクションと、
    前記フレームの所定のサイズのカテゴリ・ブロック毎に、前記ブロックを、Ａ値に基づいて透明、不透明、または部分的に透明で部分的に不透明（部分ブロック）と分類するアクションと、
    前記分類を符号化し、前記符号化された分類を前記圧縮された境界層データの一部として指定するアクションと、
    所定のサイズの境界層フレーム・ブロック毎に、所定の順序で
    前記カテゴリ・ブロックに対応する所定の個数の対応するサブブロックに、前記フレーム・ブロックを分割し、
    サブブロックが、透明であると分類されているカテゴリ・ブロックに対応する場合に必ず、どのようなコードも生成せず、
    サブブロックが、部分ブロックであると分類されているカテゴリ・ブロックに対応する場合に必ず、
    前記部分サブブロックに対して、不透明または透明であるかをピクセル毎に指定するバイナリ・マスクを生成し、
    前記バイナリ・マスクを符号化し、
    前記符号化されたバイナリ・マスクを前記圧縮された境界層データの一部であるとして指定し、
    前記部分サブブロックの前記透明ピクセルをフィル・インし、
    考察対象の前記フレーム・ブロックの前記ＲＧＢ値をＹｕｖ値に変換し、
    前記フレーム・ブロックの前記ｕおよびｖプレーンをダウン・サンプリングして、所定のサイズのサブブロックを生成し、
    前記フレーム・ブロックの前記Ｙ、Ａ、およびＤプレーンを前記所定のサイズのサブブロックに分割し、
    前記Ｙ、Ａ、またはＤサブブロックのどれかが透明ピクセルのみを含むかどうかを判別し、もしそうであれば、それらを排除し、
    前記残りのＹ、ｕ、ｖ、Ａ、およびＤサブブロックのそれぞれに、所定のパターンを介して順序番号を割り当て、
    前記Ｙ、ｕ、ｖ、Ａ、およびＤサブブロックのそれぞれを前記ＤＣＴ領域に変換して前記サブブロックと同じサイズの周波数ブロックを生成し、
    ＤＣ成分予測法を各周波数ブロックに適用し、各周波数ブロック内の前記ＤＣ成分を、隣接周波数ブロックに基づいて予測されたＤＣ成分値と前記実際の値との前記差分を表す値で置き換え、
    各周波数ブロックの前記ＡＣ周波数成分を量子化し、
    前記すでに割り当てられているブロック番号の順序で各周波数ブロックを、所定のパターンを使用して各ブロックの前記周波数成分を順序付けすること、その後前記順序付けされた成分を、Ｉフレーム可変長符号化法を使用して符号化することを備えた符号化を実行し、
    前記周波数ブロックの前記符号化された周波数値からビットストリームをそれが符号化される順序で生成し、前記符号化された周波数値を前記圧縮された境界層データの一部であるとして指定するアクションと
    を備えることを特徴とする請求項７に記載のプロセス。
16. 前記フレームの前記所定のサイズのカテゴリ・ブロックは８×８ピクセル・ブロックであることを特徴とする請求項１５に記載のプロセス。
17. 前記分類を符号化する前記プロセス・アクションは、
    四分木手法を適用して前記分類を符号化するアクションと、
    可変長符号化手法を使用して前記符号化された分類を圧縮するアクションと
    を備えることを特徴とする請求項１５に記載のプロセス。
18. 前記バイナリ・マスクを符号化する前記プロセス・アクションは、可変長符号化手法を使用して前記バイナリ・マスク・データを圧縮するアクションを備えることを特徴とする請求項１５に記載のプロセス。
19. 各フレーム・ブロックは、サイズが１６×１６ピクセルであり、ラスター順序で符号化されることを特徴とする請求項１５に記載のプロセス。
20. 前記周波数成分を順序付けするために使用される前記所定のパターンは、ジグザグ・パターンであり、前記Ｉフレーム可変長符号化法は、ＭＰＥＧ４ Ｈｕｆｆｍａｎ符号化法であることを特徴とする請求項１５に記載のプロセス。
21. 前記周波数ブロックの前記符号化された周波数値からビットストリームを生成する前記プロセス・アクションは、
    データ構造体を含む各周波数ブロックに対するビットストリームを生成するアクションを備え、前記データ構造体は、
    Ｙ、ｕ ｖ、Ａ、およびＤサブブロックを表す前記周波数ブロックがそれぞれ、非ゼロのＡＣ周波数成分を持つかどうかを示すＣＢＰＹ、ＣＢＰｕ、ＣＢＰｖ、ＣＢＰＡ、およびＣＢＰＤセクションを備えるＣＢＰヘッダ・フィールドと、
    周波数ブロックのすべての前記ＡＣ成分がゼロである場合には必ずＤＣ差分値のみが含まれることを除き、前記周波数ブロックの前記符号化された周波数値を符号化される順序で備える符号化された周波数成分フィールドと
    を備えることを特徴とする請求項１５に記載のプロセス。
22. 前記ＣＢＰヘッダの前記ＣＢＰＹ、ＣＢＰｕ、ＣＢＰｖセクションは、ＭＰＥＧ４に従って符号化され、前記ヘッダの前記ＣＢＰＡおよびＣＢＰＤセクションは、前記ＣＢＰＹセクションの前記ＭＰＥＧ４符号化と同じやり方で符号化されることを特徴とする請求項２１に記載のプロセス。
23. 請求項１に記載のプロセス・アクションを実行するためのコンピュータ実行可能命令を備えることを特徴とするコンピュータ可読媒体。
24. 同時発生の複数ビデオ・フレームからなる順次的な複数の集合であって、１つの集合内の前記複数のビデオ・フレームは、異なる視点からの実質的に同じシーンを表し、そのそれぞれのフレームは、ピクセルがピクセル色値およびピクセル・ディスパリティまたは深度値により特徴付けられる主層およびピクセルがピクセル色値、ピクセル・アルファ値およびピクセル・ディスパリティまたは深度値により特徴付けられる境界層により表される、複数の集合を含むビデオ・データを圧縮するシステムであって、
    汎用コンピューティング・デバイスと、
    前記汎用コンピューティング・デバイスにより実行可能なプログラム・モジュールを含むコンピュータ・プログラムであって、前記コンピューティング・デバイスに、前記コンピュータ・プログラムの前記プログラム・モジュールは、
    前記ビデオ・フレーム集合のすべてに共通の１つまたは複数のキー・フレーム位置を、集合内のどのフレームも、指定されたキー・フレーム位置から所定の視点個数分を超えて離れないように指定し、
    所定の周期をベースにして、前記第１のビデオ・フレーム集合および他の後続のフレーム集合に対し、最低でもピクセル色値、さらにはピクセル・ディスパリティまたは深度値を符号化する非予測Ｉフレーム圧縮法を使用して、キー・フレーム位置視点を示す各フレームの前記主層を圧縮し、
    圧縮される前記主層から前記所定の視点個数以下の個数分だけ離れているキー・フレーム位置のフレームの前記主層を基準フレームとして使用し、最低でもピクセル色値、さらにはピクセル・ディスパリティまたは深度値を符号化する、空間予測圧縮法を使用してキー・フレーム位置視点を示さない各フレームの前記主層を圧縮し、
    前記非予測Ｉフレーム圧縮法を使用して圧縮されない１つまたは複数のキー・フレーム位置フレームを含む各フレーム集合について、先行するフレーム集合内の同じ視点を示す前記フレームの前記主層からの動き補償推定に基づき、最低でもピクセル色値、さらにはピクセル・ディスパリティまたは深度値を符号化する、時間予測圧縮法を使用してキー・フレーム位置視点を示す各フレームの前記主層を圧縮し、
    最低でもピクセル色値、ピクセル・ディスパリティまたは深度値、およびピクセル・アルファ値を符号化する非予測Ｉフレーム圧縮法を使用して各フレーム集合内の各フレームの前記境界層を圧縮する
    ように指令するコンピュータ・プログラムと
    を備えることを特徴とするシステム。
25. 同時発生の複数のビデオ・フレームからなる順次的な複数の集合であって、１つの集合内の前記ビデオ・フレームは、異なる視点からの実質的に同じシーンを表し、そのそれぞれのフレームは少なくとも主層および境界層により表される、複数の集合を含むビデオ・データを圧縮解除するコンピュータにより実装されるプロセスであって、
    前記ビデオ・データは、
    同時発生の複数のフレームからなる各集合に対し１つまたは複数のキー・フレームを、同時発生の複数のフレームからなるどれか１つの集合内のそれぞれの指定されたキー・フレームが、同時発生の複数のフレームからなる前記他のすべての集合内の指定されたキー・フレームと同じである視点を持つように、指定すること、
    フレーム間圧縮手法を使用して、同時発生の複数のフレームからなる各集合内の各キー・フレームの前記主層を圧縮すること、
    空間予測圧縮手法を使用して同時発生の複数のフレームからなる各集合内の各非キー・フレームの前記主層を圧縮すること、および
    フレーム内圧縮手法を使用して各フレーム集合内の各フレームの前記境界層を圧縮すること
    により圧縮されているビデオ・データであり、
    前記プロセスは、コンピュータを使用して、
    フレーム内圧縮解除手法を使用して各フレーム集合内の各フレームの前記境界層を圧縮解除するプロセス・アクションと、
    フレーム間圧縮解除手法を使用して同時発生の複数のフレームからなる各集合内の各キー・フレームの前記主層を圧縮解除するプロセス・アクションと、
    空間予測圧縮解除手法を使用して同時発生の複数のフレームからなる各集合内の各非キー・フレームの前記主層を圧縮解除するプロセス・アクションと
    を実行することを備えることを特徴とするコンピュータにより実装されるプロセス。
26. 同時発生の複数のフレームからなる各集合の各フレームは、そのピクセルがピクセル色値およびピクセル・ディスパリティ値により特徴付けられる前記主層と、およびそのピクセルがピクセル色値、ピクセル・アルファ値およびピクセル・ディスパリティ値により特徴付けられる前記境界層とにより表され、フレーム間圧縮解除法を使用して同時発生の複数のフレームからなる各集合内の各キー・フレームの前記主層を圧縮解除する前記プロセス・アクションは、
    所定の周期をベースにして、前記第１のビデオ・フレーム集合および他の後続のフレーム集合に対し、最低でも前記元のピクセル色値、さらにはピクセル・ディスパリティまたは深度値の近似を復元する非予測Ｉフレーム圧縮法を使用して、各キー・フレームの前記主層を圧縮解除するアクションと、
    前記非予測Ｉフレーム圧縮法を使用して圧縮されない１つまたは複数のキー・フレームを含む各フレーム集合について、他のフレーム集合内の同じ視点を示す前記キー・フレームの前記主層に基づき、最低でも前記元のピクセル色値、さらにはピクセル・ディスパリティまたは深度値の近似を復元する、時間予測圧縮解除法を使用して各キー・フレームの前記主層を圧縮解除するアクションと
    を備えることを特徴とする請求項２５に記載のプロセス。
27. 空間予測圧縮解除法を使用して同時発生の複数のフレームからなる各集合内の各非キー・フレームの前記主層を圧縮解除する前記プロセス・アクションは、最低でも前記元のピクセル色値、さらにはピクセル・ディスパリティまたは深度値の近似を復元する空間予測圧縮解除法を使用して同時発生の複数のフレームからなる各集合内の各非キー・フレームの前記主層を圧縮解除するアクションを備えることを特徴とする請求項２６に記載のプロセス。
28. 同時発生の複数のフレームからなる各集合について指定される前記１つまたは複数のキー・フレームは、集合内のどのフレームも指定されたキー・フレームの視点から所定の視点個数分を超えて離れないように指定され、同時発生の複数のフレームからなる各集合内の各非キー・フレームの前記主層を圧縮解除する前記プロセス・アクションは、圧縮解除される前記主層から前記所定の視点個数以下の個数分だけ離れているキー・フレーム位置のフレームの前記主層を前記空間予測圧縮解除法の基準フレームとして使用するアクションを備えることを特徴とする請求項２７に記載のプロセス。
29. フレーム内圧縮解除法を使用して各フレーム集合内の各フレームの前記境界層を圧縮解除する前記プロセス・アクションは、最低でも前記元のピクセル色値、ピクセル・ディスパリティまたは深度値、およびピクセル・アルファ値の近似を復元する非予測Ｉフレーム圧縮解除法を使用して各フレーム集合内の各フレームの前記境界層を圧縮解除するアクションを備えることを特徴とする請求項２６に記載のプロセス。
30. 所定の周期をベースにして、前記第１のビデオ・フレーム集合および他の後続のフレーム集合に対し、非予測Ｉフレーム圧縮法を使用して各キー・フレームの前記主層を圧縮解除する前記プロセス・アクションは、
    考察対象の前記キー・フレームの前記主層の圧縮時に生成されたデータ・ストリームを入力するアクションと、
    前記キー・フレームの所定のサイズのフレーム・ブロックに対応する前記データ・ストリームの部分毎に、所定の順序で考察して、
    ゼロを加えて圧縮時に削除されたゼロ値ＡＣ成分を置き換えることにより考察対象の前記データ・ストリーム部分を拡大し、
    前記拡大されたデータ・ストリーム部分を復号化して、所定のサイズの複数の周波数ブロックからなる順序付けされたバージョンであって、前記周波数ブロックと同じサイズであるＹｕｖ値の形式のピクセル色値、およびピクセル・ディスパリティまたは深度値（Ｄ）により特徴付けられたピクセルの符号化されたサブブロックを表すバージョンをリストアし、
    圧縮で使用された順序付けパターンの逆を使用して、各周波数ブロックの前記周波数成分を、圧縮前のその順序にリストアし、
    前記リストアされた周波数ブロックのそれぞれに対し逆ＤＣ成分予測手続きを実行して、各周波数ブロックの前記元のＤＣ成分の量子化バージョンをリストアし、
    前記量子化された周波数ブロックのそれぞれに対し逆量子化手続きを実行して、各周波数ブロックの前記元のＤＣ成分を実質的にリストアし、
    圧縮時に前記Ｙ、ｕ、ｖ、およびＤサブブロックに対し実行されたＤＣＴの逆を実行して、前記周波数ブロックを出力し、前記サブブロックの前記Ｙ、ｕ、ｖ、およびＤ値の近似をリストアし、
    圧縮時にダウン・サンプリングされたのと同じ倍率で前記ｕおよびｖサブブロックをアップ・サンプリングし、それらを元の所定のプレーン・サイズに戻し、
    圧縮時に前記元のＹプレーンを分割するために使用されたのと同じ順序で前記Ｙサブブロックを結合して、リストアされたＹプレーンを形成し、
    圧縮時に前記元のＤプレーンを分割するために使用されたのと同じ順序で前記Ｄサブブロックを結合して、リストアされたＤプレーンを形成し、
    前記Ｙ、ｕ、およびｖピクセル値をＲＧＢ値に変換し、
    考察対象の前記キー・フレームのリストアされたフレーム・ブロックとして、前記リストアされたＲＧＢおよびＤ値から形成されたピクセルの前記ブロックを指定する
    複数のアクションとを備えることを特徴とする請求項２６に記載のプロセス。
31. 前記所定のサイズのフレーム・ブロックだけでなく、前記リストアされたフレーム・ブロック、元のｕおよびｖプレーン、ＹプレーンおよびＤプレーンは、すべて１６×１６ピクセル・ブロックであり、前記所定の順序は、ラスター順序であることを特徴とする請求項３０に記載のプロセス。
32. 前記キー・フレームの前記所定のサイズのフレーム・ブロックに対応する前記データ・ストリームの各部は、圧縮時において、前記Ｙ、ｕ ｖ、およびＤサブブロックを表す前記周波数ブロックがそれぞれ、非ゼロＡＣ周波数成分を持つかどうかを示すＣＢＰＹ、ＣＢＰｕ、ＣＢＰｖ、およびＣＢＰＤセクションを備えるＣＢＰヘッダ・フィールドと、周波数ブロックの前記すべてのＡＣ成分がゼロである場合に必ずＤＣ差分値のみが含まれることを除き、前記周波数ブロックの前記符号化された周波数値を符号化された順序で含む符号化された周波数成分フィールドとを持つデータ構造を形成することを備えて生成されており、圧縮時に削除されたゼロ値ＡＣ成分を、ゼロを加えて置き換えることにより考察対象の前記データ・ストリーム部分を拡大する前記プロセス・アクションは、ゼロ値ＡＣ成分が前記符号化された周波数ブロックから削除されていることを前記ＣＢＰヘッダが示す場所の周波数ブロックに割り当てられたＡＣ成分の個数に等しくするために必要な個数のゼロを加えるアクションを備えることを特徴とする請求項３０に記載のプロセス。
33. 前記周波数ブロックおよび前記サブブロックは、８×８ピクセル・ブロックであることを特徴とする請求項３０に記載のプロセス。
34. 前記非予測Ｉフレーム圧縮法を使用して圧縮されない１つまたは複数のキー・フレームを含む各フレーム集合に対し時間予測圧縮解除法を使用して各キー・フレームの前記主層を圧縮解除する前記プロセス・アクションは、ピクセル・ディスパリティまたは深度値を前記復元することを含むように修正された前記ＭＰＥＧ４規格のＰフレーム圧縮解除方式を使用するアクションを備えることを特徴とする請求項２６に記載のプロセス。
35. 空間予測圧縮解除法を使用して同時発生の複数のフレームからなる各集合内の各非キー・フレームの前記主層を圧縮解除する前記プロセス・アクションは、
    圧縮解除される前記非キー・フレームの前記圧縮時に基準フレームとして使用された同時発生の複数のフレームからなる前記集合内のキー・フレームを識別するアクションと、
    ＹｕｖＤ形式のピクセル・データを持つ前記識別されたキー・フレームの圧縮解除バージョンを入力するアクションと、
    前記識別されたキー・フレームおよび圧縮解除される前記非キー・フレームをキャプチャするために使用される前記カメラの位置、向き、およびカメラ属性を示すカメラ・パラメータを入力するアクションと、
    前記識別されたキー・フレームの深度値（Ｄ）の前記ディスパリティと、前記キー・フレームおよび圧縮解除される前記非キー・フレームをキャプチャするために使用される前記カメラの前記カメラ・パラメータとを使用して、圧縮解除される前記非キー・フレームの前記視点に前記識別されたキー・フレームをワープするアクションと、
    前記ワープされたキー・フレームの対応する配置のブロック内の前記ピクセルのどれもｙｕｖ値を持たないかを示す、前記非キー・フレームのそれぞれの所定のサイズのブロックに対する、モード指定子を備える圧縮解除される前記非キー・フレームに関連付けられている圧縮データを入力するアクションと、
    圧縮解除される前記非キー・フレームのブロック毎に、前記ブロックが圧縮された前記順序と一致する所定の順序で考察して、
    前記ワープされたキー・フレームの前記対応する配置のブロックが、すべてのピクセルについてＹｕｖＤ値を持つことを前記ブロックの前記モード指定子が示す場合に必ず、逆ＤＣ周波数成分予測ステップがスキップされ、前記ＤＣ周波数成分を復号化するためにＡＣ周波数成分復号化テーブルが使用されるＩフレーム圧縮解除法の修正バージョンを使用して前記ブロックを復号化し、その後、前記復号化されたブロックの各ピクセルの前記ピクセル値を、前記ワープされたキー・フレームの対応する配置のブロックの対応するピクセル値に加え、
    前記ワープされたキー・フレームの前記対応する配置のブロックがＹｕｖＤ値を持たないピクセルを含むことを前記ブロックの前記モード指定子が示している場合には必ず、ＤＣ周波数成分予測フェーズは隣接ブロックのピクセルがすべてＹｕｖＤ値を持つ場合に前記隣接ブロックに関連付けられる実際の値の代わりに、所定の中間範囲ＤＣ周波数成分値を使用するＩフレーム圧縮解除法の異なる修正バージョンを使用して、前記ブロックを復号し、
    前記復号化されたブロックを前記元の非キー・フレーム内のその位置に対応する前記圧縮解除された非キー・フレーム内の位置に割り当てる
    アクションと
    を備えることを特徴とする請求項２７に記載のプロセス。
36. 非予測Ｉフレーム圧縮解除法を使用して各フレーム集合内の各フレームの前記境界層を圧縮解除する前記プロセス・アクションは、
    前記境界層の圧縮時に生成されたデータ・ストリームを入力するアクションと、
    前記データ・ストリームに含まれる分類データを復号化するアクションと、
    前記境界層の所定のサイズのフレーム・ブロックに対応する前記データ・ストリームの部分毎に、所定の順序で考察して、
    前記分類データから、考察対象の前記フレーム・ブロック内に含まれる非透明の所定のサイズのサブブロックがあるかどうかを判別し、
    前記フレーム・ブロック内に非透明サブブロックがあると判明した場合には必ず、
    （ａ）前記フレーム・ブロックのこれまで未選択の非透明サブブロックを所定の順序で選択し、
    （ｂ）前記選択された非透明サブブロックに対応する圧縮されたＤＣＴ周波数ブロック・データを含むデータ・ストリームの一部分を識別し、
    （ｃ）ゼロを加えて圧縮時に削除されたゼロ値ＡＣ周波数成分を置き換ることにより前記圧縮されたＤＣＴ周波数ブロック・データの前記現在識別されている部分を拡大し、
    （ｄ）前記拡大された周波数ブロック・データを復号化して、所定のサイズの複数の周波数ブロックの順序付けされたバージョンであって、前記周波数ブロックと同じサイズであるＹｕｖ値の形式のピクセル色値、ピクセル・アルファ値（Ａ）、およびピクセル・ディスパリティまたは深度値（Ｄ）により特徴付けられたピクセルの符号化されたサブブロックを表すバージョンをリストアし、
    （ｅ）圧縮で使用された順序付けパターンの逆を使用して、各周波数ブロックの前記周波数成分を圧縮前のその順序にリストアし、
    （ｆ）前記リストアされた周波数ブロックのそれぞれに対し逆ＤＣ成分予測手続きを実行して各周波数ブロックの前記元のＤＣ成分の量子化バージョンにリストアし、
    （ｇ）前記量子化された周波数ブロックのそれぞれに対し逆量子化手続きを実行して各周波数ブロックの前記元のＤＣ成分に実質的にリストアし、
    （ｈ）圧縮時に前記選択されたサブブロックのＹ、ｕ、ｖ、Ａ、およびＤプレーンに対し実行されたＤＣＴの逆を実行して、前記それらの周波数ブロックを出力し、前記プレーンの前記Ｙ、ｕ、ｖ、Ａ、およびＤ値の近似をリストアし、
    （ｉ）圧縮時にダウン・サンプリングされたのと同じ倍率で前記ｕおよびｖプレーンをアップ・サンプリングし、それらを元の所定のプレーン・サイズに戻し、
    （ｊ）そのサブブロックに対する前記ｕおよびｖプレーンとして前記選択されたサブブロックに対応する前記アップ・サンプリングされたｕおよびｖプレーンの前記象限を指定し、
    （ｋ）前記選択されたサブブロックの前記Ｙ、ｕ、およびｖピクセル値をＲＧＢ値に変換し、
    （ｌ）前記選択されたサブブロックが部分ブロックとして分類されているかどうかを判別し、
    （ｍ）前記選択されたサブブロックが部分ブロックであると判断された場合には必ず、前記サブブロックについて生成され、前記データ・ストリームに含まれる前記圧縮されたバイナリ・マスクを復号化し、前記マスクを前記サブブロックに適用して、前記すべての非不透明ピクセルを透明にし、
    （ｎ）考察対象の前記フレーム・ブロック内の前記すべての非透明サブブロックが選択され、処理されるまでアクション（ａ）から（ｎ）を繰り返し、
    すべての透明ピクセルを持つサブブロックを、非透明サブブロックにより占有されていない位置にある考察対象の前記フレーム・ブロックに追加するアクションと
    を備えることを特徴とする請求項２９に記載のプロセス。
37. 分類データを復号化する前記プロセス・アクションは、
    圧縮時に前記分類データを圧縮するために使用される前記手続きに適用可能な復号化手続きを適用するアクションと、
    逆四分木手続きを実行して、前記境界層の各所定のサイズのブロックに割り当てられた前記カテゴリを取得するアクションとを備えることを特徴とする請求項３６に記載のプロセス。
38. 圧縮されたバイナリ・マスクを復号化する前記プロセス・アクションは、
    圧縮時に前記分類データを圧縮するために使用される前記手続きに適用可能な復号化手続きを適用するアクションと、
    逆四分木手続きを実行するアクションと
    を備えることを特徴とする請求項３６に記載のプロセス。
39. 請求項２５に記載のプロセス・アクションを実行するためのコンピュータ実行可能命令を備えることを特徴とするコンピュータ可読媒体。
40. 同時発生の複数のビデオ・フレームからなる順次集合であって、一つの集合内の前記ビデオ・フレームは、異なる視点から実質的に同じシーンを表し、その各フレームは、ピクセルがピクセル色値およびピクセル・ディスパリティまたは深度値により特徴付けられる主層と、ピクセルがピクセル色値、ピクセル・アルファ値およびピクセル・ディスパリティまたは深度値により特徴付けられる境界層とにより表される順次集合を含むビデオ・データを圧縮解除するシステムであって、前記ビデオ・データは、
    前記ビデオ・フレーム集合すべてに共通の１つまたは複数のキー・フレーム位置を、集合内のどのフレームも、指定されたキー・フレーム位置から所定の視点個数分を超えて離れていないように、指定すること、
    所定の周期をベースにして、前記第１のビデオ・フレーム集合および他の後続のフレーム集合に対し、最低でもピクセル色値、さらにはピクセル・ディスパリティまたは深度値を符号化する非予測Ｉフレーム圧縮法を使用して、キー・フレーム位置視点を示す各フレームの前記主層を圧縮すること、
    圧縮される前記主層から前記所定の視点個数以下の個数分だけ離れているキー・フレーム位置フレームの前記主層を基準フレームとして使用し、最低でもピクセル色値、さらにはピクセル・ディスパリティまたは深度値を符号化する空間予測圧縮法を使用して、キー・フレーム位置視点を示さない各フレームの前記主層を圧縮すること、
    前記非予測Ｉフレーム圧縮法を使用して１つまたは複数のキー・フレーム位置フレームが圧縮される各フレーム集合について、先行するフレーム集合内の同じ視点を示す前記フレームの前記主層からの動き補償推定に基づき、最低でもピクセル色値、さらにはピクセル・ディスパリティまたは深度値を符号化する時間予測法を使用して、キー・フレーム位置視点を示す各フレームの前記主層を圧縮すること、および
    最低でもピクセル色値、ピクセル・ディスパリティまたは深度値、およびピクセル・アルファ値を符号化する非予測Ｉフレーム圧縮法を使用して、各フレーム集合内の各フレームの前記境界層を圧縮すること
    により圧縮されており、
    前記システムは、
    汎用コンピューティング・デバイスと、
    前記汎用コンピューティング・デバイスにより実行可能なプログラム・モジュールを含むコンピュータ・プログラムであって、前記コンピューティング・デバイスに、前記コンピュータ・プログラムの前記プログラム・モジュールは、
    最低でも前記元のピクセル色値、ピクセル・ディスパリティまたは深度値、およびピクセル・アルファ値の近似を復元する非予測Ｉフレーム圧縮解除法を使用して、各フレーム集合内の各フレームの前記境界層を圧縮解除し、
    前記第１のビデオ・フレーム集合および他の周期的な後続のフレーム集合に対し、最低でも前記元のピクセル色値、さらにはピクセル・ディスパリティまたは深度値の近似を復元する非予測Ｉフレーム圧縮解除法を使用して、キー・フレーム位置視点を示す各フレームの前記主層を圧縮解除し、
    圧縮解除される前記主層から前記所定の視点個数以下の個数分だけ離れているキー・フレーム位置フレームの前記主層を、基準フレームとして使用し、最低でも前記元のピクセル色値およびピクセル・ディスパリティまたは深度値の近似を復元する空間予測圧縮解除法を使用して、キー・フレーム位置視点を示さない各フレームの前記主層を圧縮解除し、
    前記非予測Ｉフレーム圧縮法を使用して圧縮されない１つまたは複数のキー・フレーム位置フレームを含む各フレーム集合について、先行するフレーム集合内の同じ視点を示す前記フレームの前記主層からの動き補償推定を採用し、最低でも前記元のピクセル色値およびピクセル・ディスパリティまたは深度値の近似を復元する、時間予測圧縮解除法を使用して、キー・フレーム位置視点を示す各フレームの前記主層を圧縮解除する
    よう指令するコンピュータ・プログラムと
    を備えることを特徴とするシステム。
    

Images