JP2013523039A

JP2013523039A - イントラビデオ画像圧縮および伸張

Info

Publication number: JP2013523039A
Application number: JP2013500654A
Authority: JP
Inventors: アイラドヴィル，; ニッツァンラビノウィッツ，
Original assignee: ヒューマンモニタリングリミテッド
Priority date: 2010-03-21
Filing date: 2011-03-21
Publication date: 2013-06-13
Also published as: EP2550804A1; EP2550804A4; WO2011117866A1; US20110228848A1; US8542737B2

Abstract

本発明は、（ａ）画像を提供するステップと、（ｂ）画像内の近接する行および列の非重複画素のサブセットを１つ以上選択することによって、画像をサブサンプリングして１つ以上の副画像にするステップと、（ｃ）ビデオシーケンス内で画像の副画像の少なくとも１つのサブセットを、少なくとも１つのフレームから予測されるフレームとして符号化するステップを含む、行および列を有する画像を圧縮するための方法を提供する。
【選択図】なし

Description

本発明は、その一部の実施形態では、画像圧縮および／または再構築に関し、さらに詳しくは、ビデオの画像圧縮に関するが、それのみに限定されない。

ここ数年の間に、ビデオおよび静止画フレームはどちらも、商業用の製品において高精細度を達成した。１フレーム当たり２００万、４００万、および８００万画素の解像度は映像産業では既に一般的である一方、カメラ市場では１ビットマップ当たり１６００万およびそれ以上の解像度さえ既に一般的であり、８００万および１２００万画素の携帯電話装置は既に市販されている。

静止画像圧縮およびフレーム単位ビデオ編集のような種々のアプリケーションは、独立ビットマップの符号化を必要とする。そのようなビットマップの符号化には、圧縮効率、プログレッシブ伝送、およびプレビュー効率の観点から幾つかの問題がある。加えて、有名な映画アバターなどの映画のように、３Ｄ観賞の可能なテレビ受像機が導入されるにつれて、画像データの量を一般的に倍増させる立体画像化が重要な媒体になりつつある。

現代技術は典型的にはＤＣＴ、ウェーブレット、ニアブロック空間予測、および最適量子化テーブルを適用し、その結果は周知であり、多数の研究および論文に報告されている。

場合によっては、高解像度フレームの高速伸張がビデオ編集にとって重要であり、編集者は実時間提示を見ることが可能であることを必要とするが、幅広く使用されている製作用コーデック（例えばＡｖｉｄＴｅｃｈｎｏｌｏｇｙ，ＩｎｃのＤＮｘＨＤ、およびＰａｎａｓｏｎｉｃのＡＶＣ−イントラ）は一般的に、フレームを提示するための解像度低減能力および／または低減品質提示能力を持たず、他の製品（例えばＡｐｐｌｅ，ＩｎｃのＰｒｏＲｅｓ４２２／４４４）は、品質を低減した低減提示能力を有するが、多くの場合それは充分な効率とみなされない。

ビデオを用いて画像を圧縮することは例えば、高解像度画像を低解像度ビデオとして圧縮するための方法を開示している米国特許出願公開第２００８／０１５９６３９号明細書、またはビデオの画像を圧縮するためのハードウェアアーキテクチャを開示している米国特許出願公開第２００８／８１６５８４３号明細書に開示されており、上記出願の発明者は本願と共通している。

本発明の一部の実施形態の態様では、任意選択的に画像の自己相似性に基づいて任意選択的に圧縮画像のストリームの一部として、かつ／または例えばファイルもしくは伝送ストリームにおけるビデオもしくは擬似ビデオシーケンス（以下、「ビデオ」もしくは「ビデオシーケンス」）のフレーム内の画像の複数の相互関連サブサンプルとして、画像を圧縮するための方法を提供する。

本発明の一部の実施形態の態様では、
（ａ）複数の少なくとも略冗長な画素を有する画像を提供するステップと、
（ｂ）少なくとも略冗長な画素から非重複画素の１つ以上のサブセットを選択し、画像の１つ以上の副画像を生成するステップと、
（ｃ）ビデオシーケンス内で副画像の少なくとも１サブセットを、少なくとも１つのフレームから予測されるフレームとして符号化するステップと、
を含む、画像を圧縮するための方法を提供する。

一部の実施形態では、非重複画素の１つ以上のサブセットを選択することは、合計して画像全体の画素を選択することになる。

一部の実施形態では、１つ以上の副画像は複数の副画像を含む。

一部の実施形態では、副画像のサブセットは全ての副画像を含む。

一部の実施形態では、少なくとも１つのフレームからの予測は、少なくとも１イントラフレームからの予測を含む。

一部の実施形態では、少なくとも１つのフレームからの予測は、１つのフレームからの予測を含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像に関係なく、独立フレーム群内の副画像を符号化することを含む。

一部の実施形態では、ビデオシーケンスは、当該技術分野で使用されるビデオ構造に従って構造化される。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、既存のビデオエンコーダまたはコーデックを使用することを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームを復号することによって、少なくとも部分的に画像を復元することを可能にすることを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応する１つのフレームを復号することによって、縮約形の画像を復元することを可能にすることを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、既存のデコーダまたはコーデックによってフレームの復号を可能にすることを含む。

本発明の一部の実施形態の態様では、
（ａ）画像を提供するステップと、
（ｂ）画像内の近接する行および列の非重複画素のサブセットを１つ以上選択することによって、画像をサブサンプリングして１つ以上の副画像にするステップと、
（ｃ）ビデオシーケンス内で画像の副画像の少なくとも１つのサブセットを、少なくとも１つのフレームから予測されるフレームとして符号化するステップと、
を含む、行および列を有する画像を圧縮するための方法を提供する。

一部の実施形態では、非重複画素の１つ以上のサブセットは、合計して画像全体の画素を選択することになる。

一部の実施形態では、少なくとも１つのフレームからの予測は、少なくとも１つのイントラフレームからの予測を含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像に関係なく、独立フレーム群における副画像を符号化することを含む。

一部の実施形態では、サブサンプリングはｎ行毎にｎ番目毎の画素を選択することを含み、ここでｎは、ｎ−１が行および列の数の整数因子となるような整数である。

一部の実施形態では、サブサンプリングはｍ行毎にｋ番目毎の画素を選択することを含み、ここでｍおよびｋはそれぞれ、ｍ−１およびｋ−１が行および列の数の整数因子となるような整数である。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、既存のエンコーダまたはコーデックを使用することを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームを復号することによって画像を復元することを可能にすることを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームを連続的に復号することによって画像の漸進的復元を可能にすることを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームのサブセットを復号することによって、画像の一部分の復元を可能にすることを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームの１つを復号することによって画像の一部分の復元を可能にすることを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、既存のデコーダまたはコーデックによるフレームの復号を可能にすることを含む。

本発明の一部の実施形態の態様では、
（ａ）複数の画像を提供するステップと、
（ｂ）複数の画像で非重複対応画素のサブセットを選択して、複数の画像の複数の副画像を生成するステップと、
（ｃ）ビデオシーケンス内で副画像を、少なくとも１つのフレームから予測されるフレームとして符号化するステップと、
を含む、比較的大きい相似部分が間に挟まれて成る複数の画像を圧縮するための方法を提供する。

一部の実施形態では、複数の画像における非重複対応画素のサブセットを選択することは、合計して画像全体の画素を選択することになる。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像に関係なく、独立フレーム群における複数の画像のうちの１つ以上から選択された副画像を符号化することを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像に関係なく、独立フレーム群における各画像から選択された副画像を符号化することを含む。

一部の実施形態では、ビデオシーケンスは、当該技術分野で使用されるビデオ構造に準拠する。

一部の実施形態では、ビデオシーケンス内の複数の画像から選択された副画像を符号化するステップは、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、複数の画像の副画像に対応するフレームを復号することによって、画像を少なくとも部分的に復元することができるように行なわれる。

一部の実施形態では、フレームの復号は、既存のデコーダまたはコーデックを使用することを含む。

一部の実施形態では、複数の画像は、シーンの立体的提示の少なくとも１対の画像を含む。

本発明の一部の実施形態の態様では、
（ａ）一連の画像を提供するステップと、
（ｂ）一連の画像における各連続画像をサブサンプリングして複数の副画像にするステップと、
（ｃ）ビデオシーケンス内で、少なくとも１つのフレームから予測される対応する連続フレーム群における各連続画像の副画像を符号化するステップと、
を含む、一連の画像を圧縮するための方法を提供する。

一部の実施形態では、符号化ステップは、既存のエンコーダまたはコーデックを使用することを含む。

一部の実施形態では、ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群の副画像を符号化し、画像に対応する群内のフレームを復号することによって少なくとも部分的に画像の復元を可能にすることを含む。

本発明の一部の実施形態の態様では、
（ａ）画像をサブサンプリングして、画像の非重複画素のサブセットを含む複数の副画像にするように構成されたスプリッタと、
（ｂ）ビデオシーケンス内で副画像を、少なくとも１つのフレームから予測されるフレームとして符号化するように構成されたエンコーダと、
（ｃ）符号化されたフレームを復号し、それによって副画像を少なくとも部分的に復元するように構成されたデコーダと、
（ｄ）副画像を合成して少なくとも部分的に画像を構築するように構成されたアセンブラと、
を備えた、画像を圧縮および伸張するための装置を提供する。

一部の実施形態では、スプリッタはエンコーダに連結される。

一部の実施形態では、アセンブラはデコーダに連結される。

一部の実施形態では、符号化ステップは、当該技術分野で使用されるビデオ構造に従って符号化することを含む。

一部の実施形態では、構成は電子回路構成またはプロセッサによって実行可能なプログラムの少なくとも１つを含む。

一部の実施形態では、エンコーダまたはデコーダの少なくとも１つは、当該技術分野の既存の装置である。

本発明の一部の実施形態の態様では、ビデオシーケンスにおけるフレーム群内の非重複画素のサブサンプルによって符号化された画像を伸張するための方法であって、
（ａ）群内のフレームの少なくとも１サブセットを副画像の少なくとも１サブセットに復号するステップと、
（ｂ）副画像を合成して画像またはその一部を構築するステップと、
を含む方法を提供する。

一部の実施形態では、フレームのサブセットは群内の全てのフレームを含む。

一部の実施形態では、フレームのサブセットは群内の全てのフレームを含み、副画像のサブセットは全ての副画像を含み、副画像を合成するステップは画像を構築することを含む。

一部の実施形態では、画像は、ビデオシーケンスにおけるフレーム群内の非重複画素のサブサンプルによって符号化された一連の画像の一部を含む。

一部の実施形態では、復号ステップは、当該技術分野の既存のデコーダまたはコーデックを使用することによって実行される。

別途定義されない限り、本明細書中で使用されるすべての技術的用語および／または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書中に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および／または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。

本発明の方法および／またはシステムを実行することは、選択されたタスクを、手動操作で、自動的にまたはそれらを組み合わせて実行または完了することを含んでいる。さらに、本発明の装置、方法および／またはシステムの実施形態の実際の機器や装置によって、いくつもの選択されたステップを、ハードウェア、ソフトウェア、またはファームウェア、あるいはオペレーティングシステムを用いるそれらの組合せによって実行できる。

例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施されることができる。ソフトウェアとして、本発明の実施形態により選択されたタスクは、コンピュータが適切なオペレーティングシステムを使って実行する複数のソフトウェアの命令のようなソフトウェアとして実施されることができる。本発明の例示的な実施形態において、本明細書中に記載される方法および／またはシステムの例示的な実施形態による１つ以上のタスクは、データプロセッサ、例えば複数の命令を実行する計算プラットフォームで実行される。任意選択的に、データプロセッサは、命令および／またはデータを格納するための揮発性メモリ、および／または、命令および／またはデータを格納するための不揮発性記憶装置（例えば、磁気ハードディスク、および／または取り外し可能な記録媒体）を含む。

任意選択的に、有線または無線ネットワーク接続もさらに提供される。ディスプレイおよび／またはユーザ入力装置（例えば、キーボードまたはマウスまたはタッチスクリーンまたはタッチパッド）も、任意選択的にさらに提供される。

本明細書では本発明のいくつかの実施形態を単に例示し添付の図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の実施形態を例示考察することだけを目的としていることを強調するものである。この点について、図面について行う説明によって、本発明の実施形態を実施する方法は当業者には明らかになるであろう。

１つ以上の図に現れる同一または複製または同等または類似の構造、要素、または部分は、一般的に同一符号を付す。ただし、任意選択的に、追加の文字が同様の対象物または様々な対象物間で区別するために与えられ、繰り返し標識および／または記載されてもよい。

図１は、本発明の例示的実施形態に係る原画像の構造の例を示す。

図２Ａは、本発明の例示的実施形態に係る、図１の原画像の各奇数行で各奇数列をサブサンプリングすることによって得られた副画像を示す。図２Ｂは、本発明の例示的実施形態に係る、図１の原画像の各奇数行で各偶数列をサブサンプリングすることによって得られた副画像を示す。図２Ｃは、本発明の例示的実施形態に係る、図１の原画像の各偶数行で各奇数列をサブサンプリングすることによって得られた副画像を示す。図２Ｄは、本発明の例示的実施形態に係る、図１の原画像の各偶数行で各偶数列をサブサンプリングすることによって得られた副画像を示す。

図２Ｅ−２Ｉは、本発明の例示的実施形態に係る、図１の画像および図２Ａ〜Ｄの画像をそれぞれ、簡素化された方法で概略的に示す。

図３Ａは、本発明の例示的実施形態に従って、ビデオシーケンスに符号化された図２Ａ〜Ｄの副画像を概略的に示す。図３Ｂは、本発明の例示的実施形態に従って、図２Ａ〜Ｄの副画像をビデオシーケンスに符号化する場合の変形例を概略的に示す。図３Ｃは、本発明の例示的実施形態に従って、図２Ａ〜Ｄの副画像をビデオシーケンスに符号化する場合の別の変形例を概略的に示す。図３Ｄは、本発明の例示的実施形態に従って、ビデオシーケンス内の符号化された画像の副画像の群を概略的に示す。

図４Ａは、本発明の例示的実施形態に従って、立体表現の左視画像の原画像構造の実施例を概略的に示す。図４Ｂは、本発明の例示的実施形態に従って、立体表現の右視画像の原画像構造の実施例を概略的に示す。図４Ｃは、本発明の例示的実施形態に従って、図４Ａの画像をサブサンプリングすることによって得られた副画像を概略的に示す。図４Ｄは、本発明の例示的実施形態に従って、図４Ｂの画像をサブサンプリングすることによって得られた副画像を概略的に示す。図４Ｅは、本発明の例示的実施形態に従って、一群としてビデオシーケンスに符号化された、図４Ａ〜Ｂの画像の副画像を概略的に示す。図４Ｆは、本発明の例示的実施形態に従って、図４Ａおよび図４Ｂの画像のための別個の群としてビデオシーケンスに符号化された図４Ａ〜Ｂの画像の副画像を概略的に示す。図４Ｇは、本発明の例示的実施形態に従って、２つのフレームの群としてビデオシーケンスに符号化された図４Ａ〜Ｂの画像を概略的に示す。

図５Ａは、本発明の例示的実施形態に従って、画像の副画像をビデオシーケンスに符号化する操作を略述するフローチャートである。

図５Ｂは、本発明の例示的実施形態に従って、複数の類似画像の副画像をビデオシーケンスに符号化する操作を略述するフローチャートである。

図６Ａは、本発明の例示的実施形態に従って、ビデオに一連の画像を圧縮する操作を略述するフローチャートである。

図６Ｂは、本発明の例示的実施形態に従って、ビデオの一連の画像を画像表現に伸張する操作を略述するフローチャートである。

図６Ｃは、本発明の例示的実施形態に従って、ビデオの一連のフレームを画像に伸張する操作を略述するフローチャートである。

図７は、本発明の例示的実施形態に係る、一連の画像を圧縮および伸張するための装置を概略的に示す。

図８Ａは、本発明の例示的実施形態に係る、ビデオシーケンスにおける圧縮画像のフレームのビット分布（サイズ）を示す。図８Ｂは、本発明の例示的実施形態に係る、ビデオシーケンスにおける立体画像の圧縮対のフレームのビット分布（サイズ）を示す。

概要
本発明の実施について一般的な非限定的概要を以下に提示する。概要は本発明の実施形態の例示的実施を概説し、変形および／または代替的実施形態の基礎を構築し、それらの幾つかを下述する。

画像および特に（メガ画素程度の）高精細度の画像は、隣接または近接画素の近傍の変化が通常急激ではなくむしろ連続的であるので、画像に冗長または略冗長な内容を含むという意味で、一般的に自己相似している。

典型的な画像の自己相似性に基づいて、冗長または略冗長画素のサブセットを選択することによって画像をサンプリングして、画像の縮約形（解像度を低減した）または縮小表現を生成する。

一部の実施形態では、非重複の冗長または略冗長画像のサブセットを選択することによって画像をサンプリングし、複数の副画像を生成するが、そこで画像の少なくとも１サブセットはその後に、少なくとも１つのフレームから予測されるフレームとして、好ましくは、一部の実施形態では、他の画像および／またはフレームとは関係なく、１つの群の画素（例えばＧＯＰ）として、ビデオシーケンス内で符号化される。

任意選択的に、または代替的に、そのようなサブサンプリングは、プレビューに使用することができかつ画像の残部とは切り離して圧縮および／または再構築することのできる画像を生成するために使用される。そのような画像は、原画像の全域またはその一部分を含むことができる。

一部の実施形態では、隣接または近接する行または列から非重複画素を規則的に選択することによって（原）画像をサブサンプリングして、原画像の縮約表現を有する複数の副画像を形成する。例えば、サブサンプリングは原画像の近接行もしくは列、または行群および／もしくは列群から、非重複画素を規則的に選択することに基づき、略同一または相似の内容を含み、（内容の一般的相似性と比較して）相違が微小であるか無視できる、副画像を生成する。

一部の実施形態では、副画像は全て同一サイズ、すなわち原画像と同一の行数および列数かつ／または同一縦横比である。例えば、偶数番目の列および偶数番目の行から選択された画素が副画像を形成し、かつ奇数番目の列および偶数番目の行から選択された画素が別の画像を形成するなどのように、画素を交互の列および行から選択して、原画像の縦横比およびその４分の１のサイズを有する相似の４つの副画像を形成する。

一部の実施形態では、副画像はビデオ（例えばファイルまたは伝送ストリーム）として符号化（および圧縮）されるが、１つの副画像は一次またはキーフレーム（イントラフレームまたはＩフレーム）として符号化され、他の副画像は、Ｉフレームからの予測または２つ以上のフレーム間の予測に基づいて（例えばＩフレームおよびＰフレームに基づいて）、中間フレーム（インタフレームまたはＰフレームまたはＢフレーム）として符号化される。副画像間の相似性のため、中間フレームは、Ｉフレーム（または他のフレーム、例えばＰフレーム）と比較して微小な内容の相違を含むだけであり、典型的には（非相似フレームからの予測と比較して）高度に圧縮され、その結果、全体的に、かつ特に（非関連フレームと比較して）中間フレームの高圧縮が達成される。

一部の好適な実施形態では、画像から導出された（画像に関係する）副画像は、ビデオシーケンスに含まれているかまたは潜在的に含まれる他の画像またはフレームとは関係なく、１つの独立群（例えばピクチャ群、ＧＯＰ）として符号化されるので、ビデオシーケンスの各フレームはイントラ符号化され、他の画像またはフレームとは関係なく、特定の画像またはその副画像にアクセスすることが可能になる。

多視点／立体画像
一部の実施形態では、複数の相似画像またはそれらの間に相似部分を有する画像を提供し、例えば略同一シーンの多視点画像を、静止画連写またはビデオシーケンスまたは１対もしくは複数対の立体視画像（または他のマルチ・アングル・ビュー）などによって取り込む。

一部の実施形態では、画像の非重複画素の対応するサブセットを選択することによって画像をサンプリングして、複数の副画像を形成し、副画像の少なくとも１サブセットをその後に、少なくとも１つのフレームから予測されるフレームとして、ビデオシーケンス内で符号化する。

一部の実施形態では、複数の画像をサブサンプリングし、上述の通り、１つの副画像をイントラフレームとして符号化し、かつ他の副画像をインタフレームとして符号化し、フレーム間の相違が比較的小さい効果的な圧縮を達成する。

一部の実施形態では、１シーンの多視点画像の実施例として、（同一シーンを２つの角度から見るので）両者間にシーンの実質的相似領域を含むシーンの左右１対の視画像として、３Ｄ（立体）画像を提供する場合がある。任意選択的に、一方の画像を、全体としてまたは部分的に他方の画像の予測に使用する。

１対の視画像間の相似性に基づいて、一部の実施形態では、画像を行または列によってサブサンプリングして複数の副画像を形成し、上述の通り、１つの副画像をイントラフレームとして符号化し、他の副画像をインタフレームとして符号化する。導出された副画像間の相似性に加えて、対を成す立体画像間の相似性のため、イントラフレームは、Ｉフレーム（または他のフレーム、例えばＰフレーム）と比較して微小な内容の相違を含むだけであり、（非相似フレームまたは非関連フレームからの略同一品質の予測と比較して）抜群に圧縮される。

符号化／復号の変形例
上述の通り、１つ（単一）のイントラフレーム（Ｉフレーム）により副画像を符号化することは制限ではなく、一部の実施形態では、複数のイントラフレームが使用されることに留意されたい。

一部の実施形態では、例えばカメラが移動しており、画像間の相似性が変動する場合に、連写撮影からの画像を符号化するにあたって、前の画像間の相似性が減少することが決定され、かつ後の画像が充分に相似であることが決定されたときに、Ｉフレームが導入される。

一部の実施形態では、副画像間の相似性を決定し、相似性閾値または標準偏差のような統計に基づいて副画像をグループ化し、各群の前にイントラフレームとその後に続くインタフレームが先行するように符号化し、各群をＧＯＰとして構成し、あるいは群の全部もしくは一部をＧＯＰとして構成する。

一部の実施形態では、画像間の相似性（例えば、連写、ビデオピクチャシーケンス、または立体画像の対）を決定し、相似していると決定された領域をサブサンプリングし、本書に記載するように符号化する一方、任意選択的に、他の領域を非関連画像として符号化する（例えばビデオのピクチャのように）。一部の実施形態では、画像を複数のタイルに分割し、タイルに基づいて相似性を決定し、相似のタイルをサブサンプリングし、本書に記載するように符号化する（以下も参照されたい）。任意選択的に、相似性を識別するプロセスを実行して、ある程度相似している近接タイルの連結リストを生成する。任意選択的に、リストは、隣接タイル対の間の相似性を最大化または向上するように順序付けられる。

一部の実施形態では、タイル分割は、例えば画像間の充分な相似性の大部分（または最大部分）を確立し、タイルの数を低減し、それによって符号化および／または復号性能を向上するように、画像間の決定された相似性に基づいて行なわれる。

一部の実施形態では、イントラフレームの数および／または位置を決定するために、下述の通り、特定のフレームのその後の高速復号のような他の考慮事項を使用する。

単数または複数の画像に関するフレームを１つのＧＯＰで符号化することに限定されず、実施形態によっては、フレームは複数のＧＯＰとして符号化されることに留意されたい。例えば、一部の実施形態では、画像の各フレーム、または画像のフレームのサブセットを、別個の典型的には連続したＧＯＰに格納する。別の実施例として、１対の立体表現の各画像のフレームまたはそのサブセットは、別個の典型的には連続したＧＯＰに格納される。

一部の実施形態では、副画像のサブセットだけを符号化して、ファイル容量を低減し、かつ／または副画像のセット全体を符号化する場合と比較して、より高速の伝送を可能にする。

一部の実施形態では、符号化された副画像を復号かつ合成し、副画像からそれぞれの行および列を再構築すること（逆サンプリング）によって、原画像（または複数の原画像）を生成する。

単一の副画像（イントラフレーム）の復号、または副画像のサブセット（イントラフレームおよびインタフレーム）の復号および合成は、原画像に相似しているが低解像度および／また小サイズの画像をもたらす。任意選択的に、復号された単数または複数の副画像は、補間またはスケーリングまたは当該技術分野の他の方法などによって処理され、特定の用途に応じて、原画像に充分に近いサイズおよび／または解像度および縦横比の画像をもたらす。

副画像（またはサブサンプリング）の数および符号化されるフレームの数およびそれぞれのフレームの型を制御することにより、ビデオのサイズおよび／もしくはビットレート、ならびに／または復号後に結果的に得られる画像のサイズおよび／もしくは視覚的品質の制御が可能になる。

復号される副画像の数を制御することにより、結果的に得られる画像のサイズおよび／または解像度および／または視覚的品質の制御が可能になるだけでなく、復号されるフレームの数が増加し、それぞれの副画像が結果的に得られた画像と合成されるにつれて、画像の漸進的再構築も可能になる（解像度またはサイズまたは品質が次第に高くなる）。

副画像間の相似性、および上述した中間フレームの結果として生じる圧縮レベル、またはＧＯＰの結果として生じる全体的圧縮レベルのため、一部の実施形態では、中間フレームのみならず、任意選択的に一次（キー）フレームも、要求されるビットレートに合致し、量子化誘発アーチファクト（例えばブロッキネス）を回避または低減するように、量子化せずに、または量子化変動を最小限にして、または結果的に得られる画像の品質を低減する量子化無しに無損失で符号化されるか、あるいは（非関連フレームと比較して）低い量子化で符号化される。

一部の実施形態では、近接画素間の相似性を低減させるアーチファクトまたはノイズを除去するために、原画像を事前調整し、もしくは加えてまたは代替的に、隣接画像間の相似性を高めるために、平滑化などによって原画像を処理する。

本発明の一部の好適な実施形態では、単数または複数の画像の副画像は、あたかもそれらがビデオカメラによって取り込まれたような連続ピクチャであるかのように、ビデオに符号化されることを留意されたい。一部の実施形態では、当該技術分野のエンコーダおよび／またはコーデックを使用して、符号化装置をトランスペアレントに用いて、かつ／または副画像が連続ピクチャではないという事実に関係なく、副画像を一連のピクチャとして符号化し、符号化装置の能力および／または設定に応じて、符号化装置がイントラまたはインタ圧縮を適用する。

例えば、１つの副画像は、あたかも該副画像がＧＯＰの最初のピクチャであるかのように、符号化装置によってイントラ圧縮を用いてイントラフレームとして符号化され、後続副画像は、あたかもそれらがＧＯＰの後続ピクチャであるかのように、イントラフレーム（または他のインタフレーム）からの予測による単数または複数のインタフレームとして符号化装置によって圧縮かつ符号化される。

同様に、本発明の一部の好適な実施形態では、符号化されたビデオは、あたかもビデオが一連のピクチャにより符号化されたかのように、当該技術分野のデコーダおよび／またはコーデックを用いて復号される。例えばフレームは、それらが画像のサブサンプルであるという事実に関係なく、あたかもピクチャのビデオのフレームであるかのように副画像に復号される。

好ましくは、一部の実施形態では、副画像は、任意選択的に既存の装置および／またはソフトウェアを使用して、当該技術分野のビデオ構造、例えばＭＰＥＧ−１／２／４、ＤｉｖＸ、Ｘｖｉｄ、ＡＶＣ、Ｈ．２６４、またはＶＰｘで符号化され、かつそれに対応して復号される。代替的に、または加えて、一部の実施形態では、当該技術分野のビデオ構造またはその変形またはカスタム構造を用いて画像を符号化および／または復号するために、変更されかつ／または特注の装置および／またはソフトウェアが使用される。

上述したように符号化された原画像（またはさらに付け加えてビデオのピクチャもしくは任意の画像）はイントラ−インタツールを用いて符号化されるが、コーディングの結果は、それがあたかも純粋なイントラ・コーディング・スキームによって、例えば１つの独立ＧＯＰとして、または原画像の副画像に対応するフレームのセットを定義する他のスキームによってコーディングされたかのように使用することができるので、原フレーム（またはその縮約表現）を、ビデオシーケンスに含まれているかまたは潜在的に含まれる他の画像または構成要素とは関係なく、復号しかつユニットとして構築することができる。

用語
本書における画像とは、相似する隣接または近接非重複画素もしくはそれらの構成要素を有する静止画像またはビデオフレーム（例えば色チャネル）を含むがそれらに限定されない任意の画像、または相似する部分を有する複数の画像を意味する。画像という言及は、相似する近接する値を有するデータ要素の任意の組織を除外しない。

本書で使用する場合、用語「近接」とは、隣接（当接）する画素、および／または解像度に対して互いに充分に接近している画素、例えばそれぞれの次元（行または列）で解像度の約１％より近い（小さい）画素を意味する。

本書で使用する場合、値（例えば画素）間の相似性とは、値に対して小さい量だけ異なる値、例えば値の平均の約２５％より小さい量だけ異なる２つ以上の値を意味する。

本書で使用する場合、用語「自己相似性」とは、画像の近接画素間の略冗長な内容を意味する（相似と同類）。

本書で使用する場合、用語「符号化」とは、イントラまたはインタまたはインタ−イントラ圧縮を含むビデオシーケンス内のフレームとして画像を処理かつ構成することを意味する。逆に、用語「復号」とは、ビデオシーケンス内の単数または複数のフレームから画像を展開することを意味する。

本書で使用する場合、用語「擬似ビデオ」とは、ビデオシーケンスとして構成されるが、「動画」（「ムービー」）を含まないかあるいは必ずしも含まない一連のフレームを意味する。

本書における視覚的品質とは、ＰＳＮＲまたはＳＳＩＭのような定量的尺度を意味するが、主観的印象を除外しない。

用語「サンプル」および「サブサンプル」は、画像の画素から画素を選択することを表わす際に置き換え可能に使用される。

サブサンプリング
ここで図面を参照すると、図１は、本発明の例示的実施形態に係る、任意の寸法または縦横比の画像構造を表わす原画像１００の構造および／またはその一部分の例を示す。

単純かつ明快を期すために、画像１００を８×８画素の構造として示し、最上行および最左列の番号を１として行および列をそれぞれＲｎおよびＣｎで表記するが、それに限定されない。画素は「ｐｒｃ」と表わされ、「ｒ」および「ｃ」はそれぞれ行および列を表わしており、幾つかの例示的画素が画像１００に示される。

非限定的実証例として、画像１００は、非重複画素の選択に基づいて４つの副画像にサブサンプリングされる。１つのそのようなサブサンプリングは、原画像１００の各奇数行で各奇数列をサブサンプリングすることによって得られた副画像２０１を例証する、原画像１００の画素を「ｐｒｃ」表記法で示した図２Ａに示すように、原画像１００の行および列の順序に従いながら、奇数行で奇数列の画素を選択し、選択された画素から副画像を構築することによって実行される。

同様に、画像１００はさらに、原画像１００の各奇数行で各偶数列を、各偶数行で各奇数列を、かつ各偶数行で各偶数列をそれぞれサブサンプリングすることによって得られる副画像２０２〜２０４を例証する図２Ｂ〜Ｄに示すように、３つの追加副画像にサブサンプリングされる。明快を期すため、かつ副画像のサブサンプリングおよび構築をさらに例証するために、原画像１００でサブサンプリングされた（選択された）画素に陰影を付け、画像１００全体がサンプルであることを実証し、副画像２０１〜２０４における対応する画素は対応する陰影を付けて示す。

さらに明快を期すために、図２Ｅ〜図２Ｉは、本発明の例示的実施形態に係る図１の画像１００および図２Ａ〜Ｄの画像２０１〜２０４をそれぞれ、簡素化された方法で概略的に示す。画像１００で選択された画素は共通文字「Ａ」、「Ｂ」、「Ｃ」、および「Ｄ」によって示され、対応する文字が副画像２０１〜２０４に示される。

一部の実施形態では、原画像全体にわたる他のサンプリングスキームを使用する。例えばｎ番目の行および列の全ての画素を選択することによって行／列をサンプリングし、例えば、ｎ番目の行毎にｎ番目の列をとばすことによって画像を横断する。画像１００および副画像２０１〜２０４の上記実施例では、因子ｎは２であり、４つの副画像が構成され、ｎが３である場合には８つ（２^３）の副画像が構成されるなどとなる。一部の実施形態では、ｋ番目の列毎にｍ番目毎の行の画素が選択されるように、行および列に対しそれぞれｍおよびｋのように、行および列に異なる因子が使用される。

主として、一部の実施形態では、サンプリングは、ラップアラウンド方式で、またはｎ−１が行および列の数の整数因子である（ｎが行および列に対する因子を表わす場合に割って余りが出ない）ことを前提として、因子ｎに対して行および列の数を法として実行される。非限定実施例として、図１の画像１００を参照して、３の列因子を使用すると、列の選択は、（Ｃ３，Ｃ６）、（Ｃ１、Ｃ４）、（Ｃ７、Ｃ２）、（Ｃ５、Ｃ８）の順序になり、（行および列に対し）３の共通因子を使用すると、［ｐ３３ｐ３６，ｐ６３ｐ６６］、［ｐ１３ｐ１６，ｐ４３ｐ４６］等のように８（２^３）個の副画像が形成される。ここで［ｘ，ｙ］は副画像のマトリクス構造を表わす。

ビデオ内の符号化
図３Ａは、本発明の例示的実施形態に従ってビデオシーケンス３１０に符号化された図２Ａ〜Ｄの副画像２０１〜２０４を概略的に示す。

図３Ａの実施例では、副画像２０１は、任意選択的にイントラ圧縮および／またはイントラ予測（おそらく追加補助フレームを意味する）により、キーフレーム（Ｉフレーム）として符号化され、副画像２０２〜２０４は、Ｉフレームから（かつ／または他のインタ−インタフレームから）予測されるインタフレームとして符号化される。各々の副画像は原画像（例えば画像１００）の縮約表現であり、略同一であるので、副画像２０１〜２０４はいずれかをキーフレームとして使用し、残りを中間フレーム（ＰフレームまたはＢフレーム）として使用することができる。画像（例えば画像１００）の副画像は、他の画像またはフレームとは関係なく、角括弧３０４によって示されるＧＯＰとしてグループ化され、（時間）方向は矢印３０２によって示される一方、副画像とビデオ内のフレームとの間の対応は、一点鎖線矢印によって示される。

イントラフレームまたはインタフレームに言及する場合、フレームは当該技術分野で公知の通りまたは使用される通り構成されることに留意されたい。例えば、ＰフレームはＩフレームから予測され、例えばＢフレームは２つ以上の他のフレームから、例えば２つのＰフレームから予測される。

図３Ｂは、本発明の例示的実施形態に従って、図２Ａ〜Ｄの副画像２０１〜２０４をビデオシーケンス３２０に符号化する場合の変形例を概略的に示す。図３Ｂの実施例では、副画像２０２はＩフレームとして符号化され、副画像２０１および２０３はＢフレームとして、かつ副画像２０４はＰフレームとして符号化される。画像（例えば画像１００）の副画像は、他の画像またはフレームとは関係なく、角括弧３０４によって示されるＧＯＰとしてグループ化され、（時間）方向は矢印３０２によって示される一方、副画像とフレームとの間の対応は一点鎖線矢印によって示される。

図３Ｃは、本発明の例示的実施形態に従って、２つのＩフレームおよび２つのＰフレームを用いて、図２Ａ〜Ｄの副画像２０１〜２０４をビデオシーケンス３３０に符号化する場合の別の変形例を概略的に示す。画像（例えば画像１００）の副画像は、他の画像またはフレームとは関係なく、角括弧３０４によって示されるＧＯＰとしてグループ化され、（時間）方向は矢印３０２によって示される一方、副画像とフレームとの間の対応は一点鎖線矢印によって示される。

図３Ｄは、本発明の例示的実施形態に従って、ビデオシーケンス３４０内のそれぞれの画像の符号化された副画像の別個の群（例えばＧＯＰ）３０４を概略的に示す。各群は、一実施例として、１つのＩフレーム（「Ｉ」と示される）および３つの連続Ｐフレーム（「Ｐ」と示される）を含む。群３０４とそれぞれの符号化された画像、例えば画像１００との間の対応は、独立して符号化された画像を表わす１００ａ、１００ｂ、および１００ｃと表示された鎖線角括弧によって示される。

画像に関係する副画像は他のフレームとは関係なく１つにグループ化されるので、対応する画像を他の画像のフレームとは関係なく復号かつ構築することができる。加えて、単数または複数の画像の他のフレームに関係なく、Ｉフレーム（または複数のフレーム）を復号することによって、画像の縮約表現（すなわち低解像度および／または小サイズ）を得ることができる。さらに、画像の他のフレームまたは他の画像に関係なく、Ｉフレームおよび１つ以上のＰフレーム（および／またはＢフレーム）を復号することによって、画像の次第に細かくなる（すなわち解像度が高くなる）表現を漸進的に得ることができる。上述の通り、画像は他の画像に関係なくイントラコーディングされる。

立体画像の符号化
図４Ａおよび図４Ｂは、立体表現の左右視画像の原画像構造１００Ｌおよび１００Ｒの実施例をそれぞれ概略的に示す。画像１００Ｌおよび１００Ｒは、シーンの立体表現を提供する任意のサイズまたは縦横比の任意の画像対を表わすが、それに限定されない。

画像は略同一シーンの視画像を表わすので、画像は、少なくとも画像の比較的大部分（例えば各画像の画素の少なくとも約７５％）が実質的に相似している。したがって、上述の通り画像をサブサンプリングすることによって得られるその副画像は、互いに略相似している（または少なくとも相似領域を共有する）。一部の実施形態では、立体画像をサブサンプリングすることによって得られた副画像は、上述の通り、ビデオに符号化される。

図４Ｃおよび図４Ｄは、上述の通り、本発明の例示的実施形態に従って、画像１００Ｌおよび１００Ｒをそれぞれサブサンプリングすることによって得られた副画像２００Ｌおよび２００Ｒを概略的に示す。副画像２００Ｌおよび２００Ｒは、（画像１００および副画像２０１〜２０４に似ている）４つの副画像のセットとして示されるが、副画像２００は、一部について上述した、原画像の近接する行または列から非重複画素を選択する任意の方法によって導出された任意の数の副画像を表わす。

図４Ｅは、本発明の例示的実施形態に従って、例えばＩフレームとして符号化された２００Ｌの１つの副画像、およびＰフレーム（すなわちＩフレームから予測される）として符号化された他の副画像を含む、角括弧３０４Ｓによって示される群としてビデオシーケンスに符号化された、図４Ａ〜Ｂの画像の副画像２００を概略的に示す。記載した符号化スキームは、他の画像または表示とは関係なく、立体視画像を画像対のユニットとして符号化かつ再構築することを可能にする。

図４Ｆは、本発明の例示的実施形態に従って、それぞれの角括弧３０４Ｌおよび３０４Ｒによって示される左右視画像１００Ｌおよび１００Ｒのための群としてビデオシーケンスに符号化された図４Ａ〜Ｂの画像の副画像を概略的に示し、各群は例えばそれぞれＩフレームとして符号化された１つの副画像２００Ｌおよび２００Ｒ、ならびにＰフレームとして符号化された他の副画像を含む。記載した符号化スキームは、各視画像を他の画像または視画像とは関係なく、独立して１つのユニットとして符号化かつ再構築することを可能にする。

一部の実施形態では、各画像１００Ｌおよび１００Ｒは上述の通り実質的に相似しているので、本発明の例示的実施形態に従って、一方はＩフレーム（１００Ｌ）として、他方は予測されたＰフレーム（１００Ｒ）として、２つのフレームの群３０４Ｔとしてビデオシーケンスに符号化された画像１００Ｌおよび１００Ｒを概略的に示す図４Ｇに例証するように、一方の画像はＩフレームとして符号化され、他方はＩフレームから予測されるＰフレームとして符号化される。

明快を期すため、かつサンプリングされた副画像から導出されるフレームのサブサンプリングおよび符号化をさらに例証するために、図４Ａ〜４Ｇに、原画像１００Ｌおよび１００Ｒまたはそれらの副画像と、対応するフレームとの間の対応を、図１および図２Ａ〜Ｄに対しても示したように、対応する陰線によって、かつ一点鎖線矢印で示す。図４Ｅ〜Ｇでは（図３Ａ〜Ｄと同様に）、フレームの型を、イントラフレームについては「Ｉフレーム」または「Ｉ」で、インタフレームについては「Ｐフレーム」または「Ｐ」で示す。

代替的に、または加えて、一部の実施形態では、例えば視画像の相似性が不充分である（例えば近接被写体を見ている）場合、立体画像の各画像は、上述の通り、他の立体画像とは関係なく、副画像によって個別に符号化される。

サンプリングの変形例
一部の実施形態では、副画像をさらにサンプリングする。例えば、図２Ａ〜Ｄ（または同じ趣旨で図２Ｆ〜Ｉ）の副画像２０１〜２１４は各々２つの副画像を導き、全部で８つの（おそらく他の縦横比の）副画像が形成され、かつ任意選択的に８つの副画像は各々さらにサブサンプリングされる。後者の論法に従って、一部の実施形態では、原画像は特定のレベルまたは数の副画像まで連続的にまたは再帰的にサブサンプリングされ、画像またはその一部の符号化および復号における柔軟性がもたらされる。

一部の実施形態では、原画像（またはさらに付け加えて複数の画像）は（好ましくは同サイズの）タイルに分割され、タイルは上述の通りサブサンプリングされ符号化される。一部の実施形態では、タイルの使用は画像の一部分の復号、任意選択的に漸進的サイズ拡大（例えば中心領域から外向きに）に柔軟性をもたらす。一部の事例または実施形態では、タイルは、特定のコーデックによって指示されまたは好まれるフレームサイズに適合させるために使用される。

一部の実施形態では、サンプリング間隔（例えばファクタ）は、行および／または列に対し一定ではない。例えば、ファクタは画像の中心付近では小さく（高密度または細密サンプリング）、画像の辺縁付近では大きい（希薄または粗密サンプリング）。一部の実施形態では、間隔またはファクタは多値であり、例えば二値である場合、中心領域に１つの値が使用され、周辺領域にもう１つの値が使用され、あるいは間隔は行および／または列に沿って（整数量ずつ）変動し、任意選択的にかつ好ましくは非重複画素による画像全体のサンプリングを維持する。

一部の実施形態では、サンプリングは、行および／または列に沿って行なわれず、異なるスキームで、例えばジグザグ（対角）サンプリングおよび／または任意選択的に、上述の通り異なる間隔を用いて階段状（例えば水平間隔の後に垂直間隔が続く）に実行される。

別の実施例として、一部の実施形態では、画像は、任意選択的に画像の中心領域では小さい群（例えば１行もしくは２行および／または１列もしくは２列）を、周辺領域では大きい群（例えば３行以上および／または３列以上）を使用して、（例えば連続）行および／または列の群毎にサンプリングされる。

別の実施例として、一部の実施形態では、１つ以上のフレームの復号後の画像の再構築（またはその提示）に柔軟性をもたらすように、副画素をサンプリングする。任意選択的に、または加えて、画像の中心領域で副画素をサンプリングし、周辺領域では完全画素をサンプリングする。任意選択的に、または加えて、副画素のサンプリング度は、中心領域では微細な副画素をサンプリングし、周辺領域では粗密になるように変動する。

任意選択的に、または加えて、ファクタおよび／またはサンプリングスキームは、例えば適正な復号を促進するために、ビデオに格納される。例えば、サンプリングスキームはヘッダに、かつ／または１つ以上のフレームおよび／または擬似フレームに格納される。

一部の実施形態では、画像の画素および／またはタイルおよび／またはそれらの構成要素（下記参照）は、異なる解像度を有する複数の副画像にサブサンプリングされる。例えば、中心領域および／または中心領域のタイルは、周辺領域および／または周辺領域のタイルより密にサンプリングされ、あるいはＹチャネル（例えば輝度）は、他のチャネルより高い解像度でサンプリングされる。

一部の実施形態では、本書で言及する中心領域および周辺領域とは、関心対象領域（単数または複数）および他の領域をそれぞれ意味する。

一部の実施形態では、例えばサブサンプリングおよび／または符号化および／または復号において、本書で言及する画素は、任意選択的に他の構成要素とは別個に、色チャネルのような画素の構成要素、および／または、例えば層および／またはＺ（「深度」）値のような補助構成要素を意味するが、それに限定されない。例えば色チャネルおよび／または他の構成要素の各々および／またはそれらサブセット（例えばＹＵＶのＹもしくはＵ＆Ｖ、またはＲＧＢのＲ、またはＺ値）は別個に、任意選択的に同一または異なるＧＯＰにサンプリングされ符号化される。

任意選択的に、一部の実施形態では、色チャネルおよび／または成分の各々ならびに／またはそれらのサブセットは、例えばビデオの内容を（全チャネルを復号かつ再構築する場合と比較して）高速レビューする際に、画像の輝度（グレースケール）表現を高速復元するなどのために、後で他のチャネルとは別個に復号される。

例示的方法
図５Ａは、本発明の例示的実施形態に従って、画像の副画像をビデオシーケンスに符号化する操作を略述するフローチャートである。静止画像またはビデオのフレームのような原画像を提供する（５０２）。

近接する行および列の非重複画素のサブセットを選択することによって画像をサブサンプリングし、画素のサブセットを複数の副画像として構築または形成または構成またはマーキングする（５０４）。

他の画像、またはシーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる画像のフレームとは関係なく、副画像を、画像に関係する独立フレーム群として、または任意選択的に対の連続独立群として、ビデオシーケンスに符号化する（５０６）。

標準（例えば業界標準）または非標準エンコーダ（例えばコーデックの符号化構成要素）を用いて、副画像を符号化する。

任意選択的に、それぞれのフレームから副画像を復元（再構成）する標準または非標準デコーダ（例えばコーデックの復号構成要素）を使用することによって副画像を取り出し、ビデオシーケンス内の他の画像またはその一部分に関係なく、副画像を合成して（それぞれのフレーム全部を用いて）画像を得るか、または（それぞれのフレームのサブセットを用いて）縮約表現を得る（５０８）。任意選択的に、選択された副画像をそれぞれのフレームから連続的に取り出し、ビデオ内の他の画像またはその一部分に関係なく、再構築画像の解像度および／またはサイズを順次高めながら連続的に合成する（プログレッシブ再構築）。

図５Ｂは、本発明の例示的実施形態に従って、１対の立体画像のような複数の相似画像の副画像をビデオシーケンスに符号化する操作を略述するフローチャートである。

複数の相似した原画像、例えば略同一シーンを表示する静止画像またはビデオのフレーム、または立体表現のための１対の画像（シーンの左右視画像）を提供する（５１２）。

画像の近接行および列における非重複画素のサブセットを選択することによって、画像をサブサンプリングし、かつ画素のサブセットを複数の副画像に構築する（５１４）。

シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像またはそのフレームとは関係なく、副画像を画像に関係するフレーム群としてビデオシーケンスに符号化する（５０６）。任意選択的に、画像に関係する副画像をフレーム群に、提供された複数の画像の内の他の画像に関係するフレーム群とは別個に、しかしながら連続して、符号化する。

標準（例えば業界標準）または非標準エンコーダ（例えばコーデックの符号化構成要素）を用いて副画像を符号化する。

任意選択的に、それぞれのフレームから副画像を復元（再構築）する標準または非標準デコーダ（例えばコーデックの復号構成要素）を用いることによって、副画像を取り出し、ビデオシーケンス内の他の画像またはその一部分に関係なく、副画像を合成して（それぞれのフレーム全部を用いて）画像を得るか、または（画像のサブセットのそれぞれのフレームを用いて）画像のサブセットのみを得るか、もしくは（それぞれのフレームのサブセットを用いて）縮約表現を得る（５１８）。任意選択的に、（１つ以上または全画像のうちの）画像の選択された副画像をそれぞれのフレームから連続的に取り出し、ビデオ内の他の画像またはその一部分に関係なく、再構築画像の解像度および／またはサイズを順次高めながら連続的に合成する（プログレッシブ再構築）。

上の記載は行および列によって構築された画像に基づいているが、一部の実施形態では、上述した方法は、ハチの巣に似た六方構造のような他の画像の構造に適応され、または適応することができ、その場合、例えば近接する対角線および／または行がサブサンプリングされることに留意されたい。

ビデオ圧縮／伸張
一部の実施形態では、ビデオまたはモーションピクチャのような一連の画像を上述の通り、擬似ビデオに圧縮し、表示または編集などのために伸張（復元）する。

非限定的に、修飾語「擬似」は、画像源としてのビデオと、圧縮に使用されるビデオシーケンスとを区別するために使用される。

図６Ａは、本発明の例示的実施形態に従って、擬似ビデオに一連（シリーズ）の画像を圧縮する動作を、「Ａ」として示すフローチャートに略述する。

ビデオまたは映画カメラからのピクチャ、ならびに／またはアニメーションおよび／もしくはコンピュータおよび／もしくは任意の源からの画像のような一連の画像を提供する（６０２）。

一連のピクチャの各画像を別個の画像として連続的に取得し（６０４）、上述の通り副画像にサブサンプリングする（６０６）。

副画像を、上述の通り、少なくとも１つのフレームから予測されるフレームとして、例えばインタフレームがその後に続くイントラフレームとして、符号化し、例えば圧縮する（６０８）。

一部の実施形態では、副画像のサブセットをフレームとして符号化し、ここで任意選択的に１つの副画像だけを（例えばＩフレームとして）符号化するか、あるいは代替的に、全ての副画像を一連のフレームとして符号化する。符号化されたフレームを、他のフレームまたは群とは関係なく、独立群（例えばＧＯＰ）として構成する（６１０）。一部の実施形態または事例では、例えば符号化プロセスに従って、符号化（６０８）および構成（６１０）は、角括弧６６４によって示されるように合成される。

フレーム群は、上述の通り、かつ図６Ｂおよび／または図６Ｃに関連して下述する通り、例えば後で表示するために、擬似ビデオファイルのようなファイルに格納されるか、他の場所に伝送され（６１２）、サイクルは、矢印６６２によって示す通り、シーケンスの終わりまで（または他の終了指示もしくは信号）まで繰り返される。「Ｂ／Ｃ」マークは、下述の通り、随意のさらなる伸張プロセスを示す。

一部の好適な実施形態では、符号化された副画像の関係に関する情報が、擬似ビデオシーケンスに、例えばシーケンスのヘッダおよび／または擬似フレームおよび／またはフレーム群（例えばイントラフレーム）に格納（および／または伝送）される。

本発明の一部の好適な実施形態では、副画像を符号化（圧縮）するために、当該技術分野既存のエンコーダ（またはコーデック）を使用し、事例によっては、副画像を少なくとも１つのフレームから予測されるフレームとして符号化かつ構成するために、エンコーダパラメータを設定することに留意されたい。一部の実施形態では、画像を副画像に分割（サブサンプリング）するために、プロセッサおよび／または電子回路によって実行可能なプログラムを使用する。

図６Ｂは、「Ｂ」として示すフローチャートに、本発明の例示的実施形態に従って、擬似ビデオの一連の画像を画像表現に伸張する操作を略述する。

上述の通り、図６Ａの「Ａ」にあるように、画像のサブサブサンプルのサブセットから符号化されたフレーム群の擬似ビデオシーケンスを提供する（６２２）。

擬似ビデオシーケンス内の各フレーム群を連続的に取得し（６２４）、フレームを画像のサブサンプルに復号（伸張、復元）する（６２６）。

副画像を合成して、画像の一部分または表象を構成する（６２８）。副画像のサブセットだけをフレーム群に符号化したので、画像は縮減表象（例えば原画像に比べて低解像度）として構成され、かつ／または副画像および／もしくは縮減表現はスケーリングおよび／または補間などによって処理され、画像の精密な表象を達成する。

一部の実施形態では、擬似ビデオまたは擬似フレームまたは他のフレームに格納されたデータを使用して、原画像と適切な関係を持つ副画像を合成する。

再構築された画像を提供し、一部分の実施形態および／または事例では、それらを使用して、例えばレビューするために原画像の表象または一部分を表示および／または伝送する（６３０）。

サイクルは、矢印６６６によって示す通り、シーケンスの終わり（または他の終了指示もしくは信号）まで繰り返される。

本発明の一部の好適な実施形態では、フレームを復号（伸張）するために当該技術分野の既存のデコーダ（またはコーデック）が使用され、一部の実施形態では、画像を副画像に分割（サブサンプリング）するために、プロセッサおよび／または電子回路によって実行可能なプログラムが使用されることに留意されたい。

図６Ｃは、「Ｃ」として示すフローチャートに、本発明の例示的実施形態に従って、無損失圧縮の場合に、擬似ビデオの一連の画像を原画像に伸張し、あるいは損失の多い圧縮および／または量子化圧縮の場合に、近似画像に伸張する操作を略述する。

上述の通り、図６Ａの「Ａ」にあるように、画像の全てのサブサブサンプルから符号化されたフレーム群の擬似ビデオシーケンスを提供する（６４２）。

擬似ビデオシーケンスの各フレーム群を連続的に取得し（６４４）、フレームを画像のサブサンプルに復号（伸張、復元）する（６４６）。

副画像を合成して原画像を構築する（６２８）。全ての副画像がフレーム群に符号化されたので、画像は原内容およびその構造に構築され（無損失圧縮の場合）、あるいは近似した内容および／またはその構造に構築される（損失の多い圧縮の場合）（６４８）。

一部の実施形態では、画像の全ての副画像が符号化されたが、それでもなお副画像のサブセットだけが復元され、かつ／または例えば図６Ｂに関連して上述した通り（例えば６２８）、画像の一部分または表象を構築するために使用される。

再構築された画像を提供し、一部の実施形態および／または事例では、それらを使用して、例えばレビューするために、原画像の表象または一部分を伝達する（６５０）。

サイクルは、矢印６６８によって示すように、シーケンスの終わり（または他の終了指示もしくは信号）まで繰り返される。

本発明の一部の好適な実施形態では、フレームを復号（伸張）するために、当該技術分野の既存のデコーダ（またはコーデック）を使用し、一部の実施形態では、復号（または復元）された副画像を組み合わせて（合成して）画像またはその一部分を構築するために、プロセッサおよび／または電子回路によって実行可能なプログラムを使用することに留意されたい。

装置
図７は、本発明の例示的実施形態に係る、一連の画像を圧縮するための装置７７０および伸張するための装置７８０を概略的に例証する。

装置７７０は、任意選択的に共に結合されまたは協調するスプリッタ７０６およびエンコーダ７０２を含む。

スプリッタ７０６は、例示的画像「Ａ」、「Ｂ」、および「Ｃ」として示す画像（例えばビデオまたはモーションピクチャ）のシーケンス７１０にアクセスし、各画像を例示的副画像「Ｂｘ」として示す副画像７２０に連続的に分割し、副画像７２０をエンコーダ７０２に送る。エンコーダ７０２は、副画像７２０をフレーム群７１２としてビデオシーケンス７３０に符号化（圧縮）する。画像に対するフレームの関係を例証するために、「Ａ」のような例示的画像に対し、フレームがＡｋとして示される。ここでｋはＩフレームまたはＰフレームのようなフレームの型を表わす（非限定例として）。

装置７８０は、任意選択的に共に結合され協調するデコーダ７０４およびアセンブラ７０６を含む。

デコーダ７０４は装置７７０および／または適合装置によって生成されたビデオシーケンス７３０にアクセスし、群７１２のフレームを例示的副画像「Ｂｙ」として示す副画像７４０に復号（圧縮）する。一部の実施形態では、「Ｂｙ」は「Ｂｘ」と同等であるが、一部の実施形態では、副画像「Ｂｙ」は損失の多い圧縮のため「Ｂｘ」とは異なる。

副画像７４０はアセンブラ７０８に送られ、アセンブラは副画像７４０を組み合わせて（合成して）、シーケンス７１０の画像「Ａ」、「Ｂ」、および「Ｃ」に対し「Ａｒ」、「Ｂｒ」、および「Ｃｒ」として示されるシーケンス７５０の画像を、シーケンス７１０の画像に対して再構築する。ここで、下付き文字ｒは復元画像を表わす。一部の実施形態では、シーケンス７５０の復元画像は、シーケンス７１０の原画像と同様であるが、一部の実施形態では、損失の多い圧縮のため、復元画像が原画像とは異なる。

一部の実施形態では、スプリッタ７０６および／またはアセンブラ７０８は、任意選択的に専用および／または汎用ハードウェアおよび／またはファームウェアによって補助されるプロセッサによって実行可能なソフトウェアとして実現される。任意選択的に、または代替的に、スプリッタ７０６および／またはアセンブラ７０８は、ＡＳＩＣのようなハードウェアまたはファームウェアで、かつ／またはソフトウェアおよび／または電子技術の任意の方法で実現される。

一部の実施形態では、エンコーダ７０２およびデコーダ７０４は、当該技術分野のコーデックのようなコーデックに結合される。一部の実施形態では、エンコーダ７０２および／またはデコーダ７０４（またはそれらの任意の組合せ）は、ソフトウェアおよび／またはファームウェアとして、かつ／またはソフトウェアおよび／または電子技術の任意の方法として実現される。

一部の実施形態では、装置７７０および／または７８０は、単数または複数の上述の方法を実現する。

例示的結果
図８Ａは、本発明の例示的実施形態に係る、ビデオシーケンスにおける圧縮画像のフレームのビット分布（サイズ）を示す。

１９２０×１０８０のＨＤフレーム画像を各々９６０×５４０画素の４つの副画像にサブサンプリングし、４つのフレームを１つのＩフレーム８０２、１つのＰフレーム８０４、および２つのＢフレーム８０６として構成されたＧＯＰとしてビデオシーケンス内に符号化した。ここで値８０８はバイト数の桁数を提示する。

総サイズは、ほぼ同一品質をもたらすＰｒｏＲｅｓまたはＤＮｘＨＤコーデックによる符号化より約３０％小さい。

図８Ｂは、本発明の例示的実施形態に係る、Ｈ．２６４スキームを用いたビデオシーケンスにおける立体画像の圧縮対のフレームのビット分布（サイズ）を例証する。一方の視画像（例えば左視画像）はＩフレーム８１２として符号化され、他方の視画像（例えば右視画像）はＰフレーム８１４として符号化される。符号化の効率は通常のＨ．２６４スキームを用いるより大きく（あたかも画像が関連しないかのように）、かつ予測フレームはそれぞれのＩフレームより約２０％〜４０％小さい。

動画製作
一部の実施形態では、上述の通り、動画製作ならびにレビューおよび／または表示には符号化（圧縮）および復号（伸張）が使用される。

一部の実施形態では、動画製作は、
（ａ）少なくとも１台のカメラを立ち上げるステップと、
（ｂ）シーンを一連の画像として少なくとも１台のカメラに取り込むステップと、
（ｃ）（カメラ位置で、または遠隔地で）画像を画像のサブサンプルのフレーム群としてビデオに圧縮するステップと、
（ｄ）（上述および／または下述の通り）ビデオを（例えばサーバ）に格納し、かつ／またはおそらく表示のためにビデオを伝送するステップと、
を含む。

一部の実施形態では、圧縮ステップは、画像のサンプルのサブセットの圧縮を含む。

一部の実施形態では、圧縮装置は少なくとも１台のカメラに含まれ、かつ／または接続され、かつ／または結合され、それによって任意選択的に、カメラおよび／またはカメラに接続された装置における動画取込みと同時に、かつ／またはその後で、動画を圧縮する。

一部の実施形態では、動画表示および／またはレビューは、：
（ａ）上述の通り形成されたビデオおよび／またはそれらの均等物にアクセスするステップと、
（ｂ）画像をフレーム群に伸張するステップと、
（ｃ）（任意選択的に編集またはショット選択のために）画像を表示するステップと、
を含む。

一部の実施形態では、伸張ステップは、動画またはその一部をレビューするために画像のイントラフレームだけを高速で復号することを含む。一部の実施形態では、伸張ステップは、画像のフレームのサブセットだけを高速で復号することを含む。一部の実施形態では、伸張ステップは、画像の全フレームを復号して原画像を復元することを含む。

潜在的利点／利益
本発明の一部の実施形態の幾つかの潜在的利点および利益として、次のようなことが挙げられ、そのうちの１つ以上は実現することができる。
‐任意選択的に画像の撮影中および／またはコンピュータから一連の画像を提供する間の（アニメーションの場合など）フレームの独立圧縮（特定のフレームを他のフレームとは関係なく編集することができる）。
‐当該技術分野の圧縮と比較して非常に高品質の効率的な圧縮。例えば同一および／または同等および／または近い条件下で、ＰｒｏＲｅｓＤＮｘＨＤと比較して約４０％以上の向上、およびＡＶＣイントラと比較して約２０％〜３０％の向上。
‐例えばＲＧＢ、ＹＵＶ、４：２：２、および４：４：４または１０／１２を含め、それらに限らず種々の色フォーマットをサポートし、層を別個に圧縮し、かつ／または１つの層から他の層を予測する。
‐任意選択的に同一面積をカバーして、またはカバーする面積を低減して、低い解像度（画像の数分の１、例えば原画像の１／４または１／８）で高速伸張する。
‐例えば圧縮が良好であるため、かつ／またはＩフレームのみが伝送されるので、当該技術分野の圧縮スキームと比較して広帯域または高速伝送である。
‐要求されるビットサイズに適合させるために個々のフレームを量子化する必要なく、要求されるビットサイズと厳格に適合する高速分割の事前設計を可能にする画像の相似性のため、限定された帯域幅で無損失伝送が可能である。

一般的事項
本出願から成熟する特許の存続期間の期間中には、多くの関連する圧縮およびビデオ符号化および／または復号化の方法が開発されることが予想され、圧縮およびビデオ符号化および／または復号化の用語の範囲は、すべてのそのような新しい技術を先験的に包含することが意図される。

本明細書中で使用される用語「約」は、言及された量の±１０％を示す。

用語「含む／備える（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ、ｉｎｃｌｕｄｅｓ、ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、およびそれらの同根語は、「含むが、それらに限定されない（ｉｎｃｌｕｄｉｎｇｂｕｔｎｏｔｌｉｍｉｔｅｄｔｏ）」ことを意味する。

本明細書中で使用される場合、単数形態（「ａ」、「ａｎ」および「ｔｈｅ」）は、文脈がそうでないことを明確に示さない限り、複数の参照物を包含する。例えば、用語「画像」または用語「少なくとも１つの画像」は、その合成物を含めて、複数の画像を包含し得る。

本開示を通して、本発明の様々な態様が範囲形式で提示され得る。範囲形式での記載は単に便宜上および簡潔化のためであり、本発明の範囲に対する柔軟性のない限定として解釈すべきでないことを理解しなければならない。従って、範囲の記載は、具体的に開示された可能なすべての部分範囲、ならびに、その範囲に含まれる個々の数値を有すると見なさなければならない。例えば、２５％より小さいなどの範囲の記載は、具体的に開示され、言及された量の２５％より小さい値を有すると見なさなければならない。

本明細書中で使用される用語「方法（ｍｅｔｈｏｄ）」は、所与の課題を達成するための様式、手段、技術および手順を示し、これには、画像処理およびビデオ符号化／復号化技術の実施者に知られているそのような様式、手段、技術および手順、または、知られている様式、手段、技術および手順から、画像処理およびビデオ符号化／復号化技術の実施者によって容易に開発されるそのような様式、手段、技術および手順が含まれるが、それらに限定されない。

明確にするため別個の実施形態の文脈で説明されている本発明の特定の特徴が、単一の実施形態に組み合わせて提供されることもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで、あるいは本発明の他の記載される実施形態において好適なように提供することもできる。種々の実施形態の文脈において記載される特定の特徴は、その実施形態がそれらの要素なしに動作不能である場合を除いては、それらの実施形態の不可欠な特徴であると見なされるべきではない。

本発明はその特定の実施態様によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。

本明細書で挙げた刊行物、特許および特許出願はすべて、個々の刊行物、特許および特許出願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定であると解釈されるべきではない。

Claims

（ａ）複数の少なくとも略冗長な画素を有する画像を提供するステップと、
（ｂ）少なくとも略冗長な画素から非重複画素の１つ以上のサブセットを選択し、画像の１つ以上の副画像を生成するステップと、
（ｃ）ビデオシーケンス内で副画像の少なくとも１サブセットを、少なくとも１つのフレームから予測されるフレームとして符号化するステップと、
を含む、画像を圧縮するための方法。
非重複画素の１つ以上のサブセットを選択することは、合計して画像全体の画素を選択することになる、請求項１に記載の方法。
１つ以上の副画像は複数の副画像を含む、請求項１に記載の方法。
副画像のサブセットは全ての副画像を含む、請求項１に記載の方法。
少なくとも１つのフレームからの予測は、少なくとも１イントラフレームからの予測を含む、請求項１に記載の方法。
少なくとも１つのフレームからの予測は、１つのフレームからの予測を含む、請求項１に記載の方法。
少なくとも１つのフレームからの予測は、１つのフレームからの予測を含む、請求項１に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像に関係なく、独立フレーム群内の副画像を符号化することを含む、請求項１に記載の方法。
ビデオシーケンスは、当該技術分野で使用されるビデオ構造に従って構造化される、請求項１に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、既存のビデオエンコーダまたはコーデックを使用することを含む、請求項１に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームを復号することによって、少なくとも部分的に画像を復元することを可能にすることを含む、請求項１に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応する１つのフレームを復号することによって、縮約形の画像を復元することを可能にすることを含む、請求項１に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、既存のデコーダまたはコーデックによってフレームの復号を可能にすることを含む、請求項１に記載の方法。
（ａ）画像を提供するステップと、
（ｂ）画像内の近接する行および列の非重複画素のサブセットを１つ以上選択することによって、画像をサブサンプリングして１つ以上の副画像にするステップと、
（ｃ）ビデオシーケンス内で画像の副画像の少なくとも１つのサブセットを、少なくとも１つのフレームから予測されるフレームとして符号化するステップと、
を含む、行および列を有する画像を圧縮するための方法。
非重複画素の１つ以上のサブセットは、合計して画像全体の画素を選択することになる、請求項１４に記載の方法。
１つ以上の副画像は複数の副画像を含む、請求項１４に記載の方法。
副画像のサブセットは全ての副画像を含む、請求項１４に記載の方法。
少なくとも１つのフレームからの予測は、少なくとも１つのイントラフレームからの予測を含む、請求項１４に記載の方法。
少なくとも１つのフレームからの予測は、１つのフレームからの予測を含む、請求項１４に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像に関係なく、独立フレーム群における副画像を符号化することを含む、請求項１４に記載の方法。
サブサンプリングはｎ行毎にｎ番目毎の画素を選択することを含み、ここでｎは、ｎ−１が行および列の数の整数因子となるような整数である、請求項１４に記載の方法。。
サブサンプリングはｍ行毎にｋ番目毎の画素を選択することを含み、ここでｍおよびｋはそれぞれ、ｍ−１およびｋ−１が行および列の数の整数因子となるような整数である、請求項１４に記載の方法。
ビデオシーケンスは、当該技術分野で使用されるビデオ構造に従って構造化される、請求項１４に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、既存のエンコーダまたはコーデックを使用することを含む、請求項１４に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームを復号することによって画像を復元することを可能にすることを含む、請求項１４に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームを連続的に復号することによって画像の漸進的復元を可能にすることを含む、請求項１４に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームのサブセットを復号することによって、画像の一部分の復元を可能にすることを含む、請求項１４に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、画像の副画像に対応するフレームの１つを復号することによって画像の一部分の復元を可能にすることを含む、請求項１４に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群における副画像を符号化し、既存のデコーダまたはコーデックによるフレームの復号を可能にすることを含む、請求項１４に記載の方法。
（ａ）複数の画像を提供するステップと、
（ｂ）複数の画像で非重複対応画素のサブセットを選択して、複数の画像の複数の副画像を生成するステップと、
（ｃ）ビデオシーケンス内で副画像を、少なくとも１つのフレームから予測されるフレームとして符号化するステップと、
を含む、比較的大きい相似部分が間に挟まれて成る複数の画像を圧縮するための方法。
少なくとも１つのフレームからの予測は、１つのフレームからの予測を含む、請求項３０に記載の方法。
複数の画像における非重複対応画素のサブセットを選択することは、合計して画像全体の画素を選択することになる、請求項３０に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像に関係なく、独立フレーム群における副画像を符号化することを含む、請求項３０に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像に関係なく、独立フレーム群における複数の画像のうちの１つ以上から選択された副画像を符号化することを含む、請求項３０に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、シーケンスに含まれているかまたはその後にもしくは潜在的にシーケンスに含まれる他の画像に関係なく、独立フレーム群における各画像から選択された副画像を符号化することを含む、請求項３０に記載の方法。
ビデオシーケンスは、当該技術分野で使用されるビデオ構造に準拠する、請求項３０に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、既存のエンコーダまたはコーデックを使用することを含む、請求項３０に記載の方法。
ビデオシーケンス内の複数の画像から選択された副画像を符号化するステップは、シーケンスに含まれているかまたはその後にシーケンスに含まれる他の画像に関係なく、複数の画像の副画像に対応するフレームを復号することによって、画像を少なくとも部分的に復元することができるように行なわれる、請求項３０に記載の方法。
フレームの復号は、既存のデコーダまたはコーデックを使用することを含む、請求項３８に記載の方法。
複数の画像は、シーンの立体的提示の少なくとも１対の画像を含む、請求項３０に記載の方法。
（ａ）一連の画像を提供するステップと、
（ｂ）一連の画像における各連続画像をサブサンプリングして複数の副画像にするステップと、
（ｃ）ビデオシーケンス内で、少なくとも１つのフレームから予測される対応する連続フレーム群における各連続画像の副画像を符号化するステップと、
を含む、一連の画像を圧縮するための方法。
ビデオシーケンスは、当該技術分野で使用されるビデオ構造に従って構造化される、請求項４１に記載の方法。
符号化ステップは、既存のエンコーダまたはコーデックを使用することを含む、請求項４１に記載の方法。
ビデオシーケンス内で副画像を符号化するステップは、独立フレーム群の副画像を符号化し、画像に対応する群内のフレームを復号することによって少なくとも部分的に画像の復元を可能にすることを含む、請求項４１に記載の方法。
（ａ）画像をサブサンプリングして、画像の非重複画素のサブセットを含む複数の副画像にするように構成されたスプリッタと、
（ｂ）ビデオシーケンス内で副画像を、少なくとも１つのフレームから予測されるフレームとして符号化するように構成されたエンコーダと、
（ｃ）符号化されたフレームを復号し、それによって副画像を少なくとも部分的に復元するように構成されたデコーダと、
（ｄ）副画像を合成して少なくとも部分的に画像を構築するように構成されたアセンブラと、
を備えた、画像を圧縮および伸張するための装置。
スプリッタはエンコーダに連結される、請求項４５に記載の装置。
アセンブラはデコーダに連結される、請求項４５に記載の装置。
符号化ステップは、当該技術分野で使用されるビデオ構造に従って符号化することを含む、請求項４５に記載の装置。
構成は電子回路構成またはプロセッサによって実行可能なプログラムの少なくとも１つを含む、請求項４５に記載の装置。
エンコーダまたはデコーダの少なくとも１つは、当該技術分野の既存の装置である、請求項４５に記載の装置。
ビデオシーケンスにおけるフレーム群内の非重複画素のサブサンプルによって符号化された画像を伸張するための方法であって、
（ａ）群内のフレームの少なくとも１サブセットを副画像の少なくとも１サブセットに復号するステップと、
（ｂ）副画像を合成して画像またはその一部を構築するステップと、
を含む方法。
フレームのサブセットは群内の全てのフレームを含む、請求項５１に記載の方法。
副画像のサブセットは全ての副画像を含む、請求項５１に記載の方法。
フレームのサブセットは群内の全てのフレームを含み、副画像のサブセットは全ての副画像を含み、副画像を合成するステップは画像を構築することを含む、請求項５１に記載の方法。
画像は、ビデオシーケンスにおけるフレーム群内の非重複画素のサブサンプルによって符号化された一連の画像の一部を含む、請求項１に記載の方法。
復号ステップは、当該技術分野の既存のデコーダまたはコーデックを使用することによって実行される、請求項１に記載の方法。