JP2012510737A - デジタル画像ストリームのフレームの符号化と復号化の方法およびシステム - Google Patents

Abstract

デジタル画像フレームの符号化と復号化の方法およびシステムを提供する。フレームの符号化処理の過程でメタデータが生成され、この符号化処理はフレームの少なくとも一つの画素を間引きすることを含む。メタデータはフレームの他の間引きされておらず符号化されていない画素から少なくとも一つの間引きされた画素を再現する方法を示す。その後標準的圧縮処理が、伝送または記録の前段階として、符号化されたフレームおよびメタデータに施される。受信側では、符号化されたフレームとそれに対応するメタデータの双方に標準的解凍処理が施され、その後メタデータは、オリジナルのフレームを再現するために符号化されたフレームに復号化処理を施す過程で利用される。
【選択図】図８

Description

本発明はデジタル画像伝送の分野に関し、より具体的にはデジタル画像ストリームのフレームの符号化と復号化の方法およびシステムに関する。

デジタル画像ストリームの伝送においては、データ保存容量と帯域の使用量を低減するため、その画像ストリームに対し何らかの形態による圧縮（符号化とも呼ぶ）がおこなわれることが多い。たとえば、ビデオ圧縮では五点形（クインカンクス、quincunx）または市松模様（チェッカーボード、checkerboard）の画素間引きパターンを用いる技法が知られている。当然、このような圧縮をおこなえば、受信側ではオリジナルの画像ストリームを抽出するために解凍（復号化とも呼ぶ）処理が必要となる。

米国特許出願公開第２００３／０２２３４９９号では、立体映像の立体画像の対の圧縮は、市松模様の画素を除去した後にその市松模様の画素パターンを水平方向に押しつぶすことによって行われる。水平方向に押しつぶされた二つの画像は一つの標準画像フレーム内で並列して配置され、その後、従来の画像圧縮（例えばＭＰＥＧ２）が施され、受信側では従来の画像解凍が行われる。解凍された標準画像フレームは更なる復号化処理によって、市松模様パターンに展開された後、抜けている画素が空間的に補間される。

ビデオシーケンスの保存と放送（搬送）に関する現行の規格を用いる限り、伝送の過程でデジタル画像ストリームに施されるさまざまなレベルの圧縮／符号化および解凍／復号化処理が必要であるが、それには情報の損失および／または歪みという問題が必然的に伴う。データの損失および／または画像のノイズの本来的な程度を低減するという具体的な目標のため、長年にわたり圧縮／符号化および解凍／復号化処理の多様な技術が開発され、今もなお改良が重ねられている。しかし、受信側で再現される画像ストリームの品質レベルの向上という面では特に、依然として改良の余地は大きい。

したがって、当業界においては、デジタル画像ストリームの符号化と復号化をおこなうためのより良い方法およびシステムが求められている。

米国特許出願公開第２００３／０２２３４９９号明細書

一つの広範な側面において、本発明はデジタル画像フレームを符号化する方法を提供する。該方法は符号化されたフレームを生成するためフレームに符号化処理を施すことを含み、該符号化処理はフレームの少なくとも一つの画素を間引くことを含む。前記方法はまた、前記フレームに前記符号化処理を施す過程でメタデータを生成することを含み、該メタデータは、前記フレームの間引きされず符号化されていない他の画素から前記少なくとも一つの間引きされた画素を再現する手段を示す。前記メタデータは、前記符号化されたフレームを復号化したときに少なくとも一つの欠落している画素を補間するのに用いられるよう、前記符号化されたフレームに関連付けられている。

別の広範な側面において、本発明は符号化されたデジタル画像フレームのオリジナルバージョンを再現するため、前記フレームを復号化する方法を提供する。該方法は前記符号化されたフレームに復号化処理を施す過程においてメタデータを利用することを含み、該メタデータは前記フレームの復号化された他の画素から少なくとも一つの欠落している画素を再現する手段を示す。

さらに別の広範な側面において、本発明はデジタル画像ストリームのフレームを処理するシステムを提供する。該システムは前記画像ストリームのフレームを受信するプロセッサを備え、該プロセッサは前記フレームに符号化処理が施される過程でメタデータを生成する機能を有し、前記符号化処理は前記フレームの少なくとも一つの画素を間引くことを含み、前記メタデータは、前記フレームの間引きされず符号化されていない他の画素から前記少なくとも一つの間引きされた画素を再現する方法を示す。前記システムはまた、前記プロセッサから前記フレームおよび前記メタデータを受信する圧縮器を備え、該圧縮器は、圧縮フレームとそれに対応する圧縮メタデータを生成するため、前記フレームおよび前記メタデータに圧縮処理を施す機能を有する。前記システムは、前記圧縮フレームおよび前記圧縮メタデータを送出する出力部を含む。

さらに別の広範な側面において、本発明は圧縮画像フレームを処理するシステムを提供する。該システムは、圧縮フレームとそれに関連付けられた圧縮メタデータを受信するとともに解凍済みフレームとそれに対応する解凍済みメタデータを生成するためそれらに解凍処理を施す解凍器を備える。前記システムはまた、前記解凍済みフレームとそれに関連付けられた解凍済みメタデータを前記解凍器から受信するプロセッサを備え、該プロセッサは、前記解凍済みフレームのオリジナルバージョンを再現するために前記解凍済みフレームに復号化処理を施す過程において前記解凍済みメタデータを利用する機能を有し、該解凍済みメタデータは、前記解凍済みフレームの他の復号化された画素から前記解凍済みフレームの少なくとも一つの欠落している画素を補間する方法を示す。前記システムはさらに、前記解凍済みフレームの前記再現されたオリジナルバージョンを送出する出力部を含む。

別の広範な側面において、本発明はデジタル画像ストリームのフレームを処理する処理装置を提供する。該処理装置は前記画像ストリームのフレームに符号化処理を施す過程においてメタデータを生成する機能を有し、前記符号化処理は前記フレームから少なくとも一つの画素を間引くことを含み、前記メタデータは前記フレームの間引きされず符号化されていない他の画素から前記少なくとも一つの間引きされた画素を再現する手段を示す。

さらに別の広範な側面において、本発明は解凍された画像ストリームのフレームを処理する処理装置を提供する。該処理装置は解凍済みフレームに対応するメタデータを受信する機能、および前記解凍済みフレームのオリジナルバージョンを再現するために該解凍済みフレームに復号化処理を施す過程において前記メタデータを利用する機能を有し、該メタデータは、前記解凍済みフレームの他の復号化された画素から前記解凍済みフレームの少なくとも一つの欠落している画素を補間する手段を示す。

本発明は、添付の図面を参照して以下詳述する本発明の実施の形態を通じ、よりよく理解されるであろう。

図１は、従来技術による、立体画像ストリームを生成し伝送するためのシステムの模式図である。 図２は、従来技術による、圧縮画像ストリームを処理し復号化するための簡易化されたシステムを示す図である。 図３は、本発明の非限定的な実施例による、伝送用のデジタル画像フレームを準備する技術の変形例を示す図である。 図４は、本発明の非限定的な実施例による、伝送用のデジタル画像フレームを準備する技術の変形例を示す図である。 図５は、本発明の非限定的な実施例による、伝送用のデジタル画像フレームを準備する技術の変形例を示す図である。 図６は、本発明の非限定的な実施例による、メタデータ付きとメタデータ無しのデジタル画像フレームの伝送におけるさまざまなＰＳＮＲ（ピークＳＮ比）結果を比較する実験データの表である。 図７は、従来のビデオ機器を用いた、本発明の伝送技術の互換性を示す模式図である。 図８は、本発明の非限定的な実施例による、フレームの符号化処理のフローチャートである。 図９は、本発明の非限定的な実施例による、圧縮フレームの復号化処理のフローチャートである。

以下の説明において、「復号化」と「解凍」との用語は互換可能に用いられ、「符号化」と「圧縮」も同様であることを理解されたい。また、本発明の実施例は例えば映画のような三次元の立体画像に関して述べられているが、本発明の範囲は他の種類の映像画像も包含することを理解されたい。

図１は従来技術による、立体画像ストリームを生成し伝送するためのシステムの一例を示している。カメラ１２、１４が表現する画像シーケンスの第一および第二のソースは、デジタルデータ記憶媒体１６、１８に共通してまたは別個に保存される。あるいは、画像シーケンスは、デジタルデータ記憶媒体に保存されているか、またはマイクロプロセッサを有するシステムで読み取り可能なデジタル映像信号としてリアルタイムで入力された、デジタル化された映画フィルムまたは他の種類のデジタル画像ファイルのソースから提供されるものであってもよい。カメラ１２、１４は、立体画像のコンセプトに基づき、それぞれが撮像した画像シーケンスが光景１０の視差を伴う異なった眺めを表現するような位置に配置されており、視聴者の左目と右目の知覚をシミュレートしている。したがって、第一および第二の撮像された画像シーケンスを適切に再生すれば、視聴者は光景１０の立体映像を知覚することが可能となる。

その後、保存されたデジタル画像シーケンスは、２０および２２のようなプロセッサによりＲＧＢフォーマットに変換され、動画ミキサ２４に入力される。二つのオリジナルの画像シーケンスに含まれる情報量は、ＭＰＥＧ２または同等の多重化プロトコルを用いた従来のチャネルを通じて従来のＤＶＤに保存したり直接放送したりするには多すぎるため、ミキサ２４が画像ごとの情報量を削減するため間引きをおこなう。より具体的にはミキサ２４は二つの平面ＲＧＢ入力信号を単一の立体ＲＧＢ信号に圧縮すなわち符号化し、この立体ＲＧＢ信号はプロセッサ２６によってさらにフォーマット変換され、その後典型的な圧縮器２８によって標準的なＭＰＥＧ２形式のビットストリームフォーマットに圧縮される。その結果生成されたＭＰＥＧ２形式のコードに基づく立体映像番組は、例えば送信器３０およびアンテナ３２を介して単一の標準的なチャネルで放送することや、ＤＶＤのような従来の媒体に記録することが可能となる。その他の伝送媒体としては、例えば有線配信ネットワークやインターネットなどが挙げられる。

図２は、従来技術による、圧縮画像ストリームを受信し処理するための簡易化されたコンピュータアーキテクチャ１００を示している。図示のとおり、ビデオプロセッサ１０６がソース１０４から圧縮画像ストリーム１０２を受信する。ソース１０４は、圧縮された（すなわち符号化された）デジタル化されたビデオビットストリームを提供する機器であればどのようなものでもよく、数ある中から例を挙げればＤＶＤドライブまたは無線送信器などがある。ビデオプロセッサ１０６はバスシステム１０８を介してさまざまなバックエンド機器に接続されている。図２に示す例では、デジタルビジュアルインターフェイス（ＤＶＩ）１１０および表示信号ドライバ１１２は、デジタルディスプレイ１１４およびＰＣモニタ１１６上にそれぞれ表示するために、画素ストリームをフォーマットすることができる。

ビデオプロセッサ１０６は、例えばいくつかまたはすべての映像再生タスクを含むさまざまなタスク実行することができる。タスクの例を数ある中から挙げれば、スケーリング、カラー変換、合成、解凍、デインターレースなどである。ビデオプロセッサ１０６は典型的には、受信した圧縮画像ストリーム１０２の処理をおこない、また特定の解像度に合わせるべく圧縮画像ストリーム１０２を色変換および合成処理のため出力する機能を受け持つ。

ビデオプロセッサ１０６には、受信した圧縮画像ストリーム１０２の解凍とデインターレースの機能も持たせてもよいが、この補間機能は別体のバックエンド処理装置が代わっておこなうこととしてもよい。非限定的な具体例では、圧縮画像ストリーム１０２は圧縮立体画像ストリーム１０２であり、上記の補間機能はビデオプロセッサ１０６と、ＤＶＩ１１０および表示信号ドライバ１１２の双方との間のインターフェイス機能を持つ立体画像プロセッサ１１８が実行する。この立体画像プロセッサ１１８は、オリジナルの左右の画像シーケンスを再現するために、圧縮立体画像ストリーム１０２を解凍し補間する機能を持っている。当然、オリジナルの左右の画像シーケンスを正常に再現する立体画像プロセッサ１１８の能力は、圧縮画像ストリーム１０２のデータ損失や歪みによって、大きく損なわれる。

本発明はデジタル画像ストリームのフレームの符号化と復号化をおこなう方法とシステムに関し、伝送後に再現される画像ストリームの品質向上を意図するものである。概略的には、伝送または記録に備えて画像ストリームのフレームの符号化をおこなう場合、メタデータが生成され、このメタデータはフレームの少なくとも一つの画素の少なくとも一つの成分の値を表している。それから、フレームとそれに関連付けられたメタデータの双方にそれぞれ標準的な圧縮処理（数ある中から例を挙げればＭＰＥＧ２やＭＰＥＧなど）が施され、その後圧縮フレームと圧縮メタデータとが、受信側に伝送できる状態となり、あるいは従来の媒体に記録できる状態となる。受信側では、圧縮フレームとそれに対応する圧縮メタデータはそれぞれ標準的な解凍処理を施され、その後フレームは、対応するメタデータに基づいて少なくとも部分的にさらに復号化／補間され、それによってオリジナルのフレームが再現される。

ここで重要なことは、画像フレームの符号化をおこなった場合に、フレームの各画素またはフレームの画素のサブセットに対しメタデータを生成してもよい点である。サブセットはどのようなものでもよく、画像フレームの単一の画素にまで小さくしてもよい。本発明の非限定的な具体例においては、メタデータは、フレームの符号化の過程で間引きされた（または除去された）フレームの画素の一部または全部について生成される。フレームの間引きされた画素のうち選択された画素のみについてメタデータを生成する場合、特定の間引きされた画素についてメタデータを生成するか否かは、特定の間引きされた画素を標準的に補間することによって生じる当該特定の画素の元の値からのずれの大きさに応じて決定される。すなわち、所定の最大許容ずれ値について、特定の間引きされた画素を標準的に補間することによって生じる当該画素の元の値からのずれが、その所定の最大許容ずれ値より大きい場合には、メタデータがその特定の間引きされた画素に対して生成される。逆に、特定の間引きされた画素を標準的に補間することによって生じるずれがその所定の最大許容ずれ値より小さい場合、言い換えれば特定の間引きされた画素の標準的な補間の質が十分に高い場合には、メタデータをその特定の間引きされた画素に対して生成する必要はない。

このように、オリジナルのフレームの少なくとも一部の画素を特徴付けるメタデータを生成し、メタデータを符号化された画像フレームとともに伝送／記録することにより、メタデータは標準的な圧縮スキーム（例えばＭＰＥＧ４に用いられる技術）によって容易に圧縮可能なので、伝送帯域や記録媒体に多大な負荷をかけることなく受信側にて再現されるフレームの品質レベルを向上させることが可能となるという利点が得られる。より具体的には、フレームの符号化によってそのフレームの画素の一部がフレームから除去され、したがって伝送もしくは記録されなかった場合でも、これら欠落している画素の一部またはすべてに対し生成され、かつ符号化されたフレームに付随しているメタデータが、受信側において欠落している画素を埋め、オリジナルのフレーム再現する処理を容易化し改良する機能を果たすのである。

当然ながら、一つの画像ストリーム中で、そのストリームの一部のフレームがそれに関連づけられたメタデータを持つことによって利点を享受する一方、他のフレームにメタデータが必要ない場合も起こり得る。より具体的には、特定のフレームの符号化バージョンを復号化する際におこなわれた標準的補間処理の結果として生じる特定のフレームの元の特定のフレームからのずれが許容し得る（例えば所定の最大許容ずれ値より小さい）範囲にあれば、その特定のフレームに対してはメタデータを生成する必要はない。したがって、関連づけられたメタデータとともに伝送または記録された圧縮画像ストリーム内では、関連づけられたメタデータを有するフレームと、有しないフレームとが存在することがあり、このような態様も本発明の範囲を逸脱するものではない。

図３、図４および図５は、本発明の非限定的な実施例による、デジタル画像フレームを符号化する技術のいくつかのバリエーションを示している。図示された例においてデジタル画像フレームは、後に詳述するように、各フレームが並んで併合された画像を含むよう圧縮符号化が施された立体画像フレームである。この符号化の過程において、メタデータはフレームから間引きまたは除去された画素の少なくとも一部について生成される。

ただし重要なことは、本発明の技術はあらゆる種類のデジタル画像ストリームに適用可能であって、ある特定のタイプの画像フレームへの適用に限られるものではないという点である。すなわち、本発明の技術は立体画像フレーム以外のデジタル画像フレームにも適用可能である。さらに、本発明の技術は、圧縮符号化であれ他の種類の符号化であれ、フレームに対し施される符号化処理の種類を問わず適用可能である。最後に、本発明の技術は、たとえデジタル画像フレームがさらなる符号化や圧縮を施されることなく伝送／記録される場合（例えばＪＰＥＧ、ＭＰＥＧ２あるいは他のフォーマットではなく未圧縮のデータのまま伝送／記録される場合）であっても適用可能であり、このような態様も本発明の範囲を逸脱するものではない。

図３は、フレームから選択的に間引きされた画素の成分あたり１ビットのメタデータを生成することにより、デジタル画像フレームを符号化する処理を示している。すなわち、フレームに圧縮符号化が施されると、さまざまな画素が間引きされ、これらの間引きされた画素の少なくとも一つに対してメタデータが生成される。このメタデータは、少なくとも一つの間引きされた画素の各々の成分の近似値を表すもので、フレームとともに圧縮され伝送されるべきものである。メタデータは所定のメタデータマッピングテーブルを参照して生成され、このテーブルには生成可能なさまざまなメタデータ値が、考え得るさまざまな画素成分値にマッピングされている。この例ではメタデータは画素成分あたり１ビットで構成されているので、メタデータ値は「０」か「１」のいずれかである。

図３に示すように、フレームの特定の間引きされた画素Ｘに対するメタデータは、そのフレーム内で隣接する画素１、２、３、４のうち少なくとも一つの画素成分値に基づいて生成される。より具体的には、生成可能な各メタデータ値は画素Ｘの各成分の異なる近似値を表し、画素Ｘの各成分のこれら異なる近似値は、フレーム内で隣接する画素の成分値の異なる組み合わせの形をとる。図３の非限定的な例においては、メタデータ値「０」は（（［１］＋［２］）／２）の成分値を表し、メタデータ値「１」は（（［３］＋［４］）／２）の成分値を表す。ここで［１］、［２］、［３］、［４］は隣接する画素１、２、３、４それぞれの成分値である。つまり、間引きされた画素Ｘの各成分に対し１ビットのメタデータを生成する場合、メタデータの各ビットの値は、隣接する画素の成分値のどの組み合わせが画素Ｘの各成分の実際の値に最も近いかを決定することにより、設定される。

ここで、例えばフレームの画素がＲＧＢ方式であって、各画素は３つの成分を有し、赤、緑、青の強度をそれぞれ示す３つのデジタル数よりなるベクトルで定義されるものと仮定する。さらに、このフレーム内では各画素に画素１、２、３、４が隣接しており、それらも各々赤、緑、青の成分を有すると仮定する。間引きされた画素Ｘに対しメタデータを生成する場合、成分Ｘｒ、Ｘｇ、Ｘｂのそれぞれに対し１ビットのメタデータが生成される。すなわち、画素Ｘに対するメタデータは例えば「０１０」とすることができ、この場合Ｘｒ、Ｘｇ、Ｘｂに対応するメタデータ値はそれぞれ「０」、「１」、「０」となる。これらＸｒ、Ｘｇ、Ｘｂに対応するメタデータ値は隣接する画素の成分値の所定の組み合わせに基づいて設定され、間引きされた画素Ｘの特定の成分に対して選択された特定のメタデータ値は、当該特定の成分の実際の値に最も近い値を有する組み合わせを表している。図３に示す所定の組み合わせを例にとると、画素Ｘに対するメタデータ「０１０」は成分Ｘｒ、Ｘｇ、Ｘｂに対し、下記の値を付与している。これらの値はそれぞれ、隣接する一対の画素の各々の成分値の平均である。

Ｘｒ＝（［１ｒ］＋［２ｒ］）／２
Ｘｇ＝（［３ｇ］＋［４ｇ］）／２
Ｘｂ＝（［１ｂ］＋［２ｂ］）／２

図４は図３に示す技術の変形例を示すもので、デジタル画像フレームの符号化の過程で、フレームから選択的に間引きされた画素の成分あたり２ビットのメタデータが生成されている。この場合のメタデータ値はしたがって、「００」、「０１」、「１０」、「１１」のいずれかとなる。成分当たり１ビットのメタデータの場合と同様、生成しうる各メタデータ値は間引きされた画素Ｘの各成分の異なる近似値を表し、これら異なる近似値はフレーム内で隣接する画素の成分値の異なる組み合わせの形をとる。当然、各画素の成分あたり生成し得るメタデータのビット数が増えると、間引きされた画素Ｘの各成分に対しメタデータ値を設定する際に選択すべき、隣接する画素の成分値の組み合わせの数も増大する。

図４に示す非限定的な例において、メタデータ値「００」は成分値（（［１］＋［２］）／２）を、メタデータ値「０１」は成分値（（［３］＋［４］）／２）を、メタデータ値「１０」は成分値（（［１］＋［２］＋［３］＋［４］）／４）を、メタデータ値「１１」は成分値（最大成分値−（（［１］＋［２］＋［３］＋［４］）／４））をそれぞれ表し、ここで［１］、［２］、［３］、［４］は隣接する画素１、２、３、４それぞれの成分値であり、最大成分値とはフレーム内で画素成分がとり得る最大値（例えば８ビット成分の場合、最大成分値＝２５５）である。つまり、間引きされた画素Ｘの各成分に対し２ビットのメタデータを生成する場合、２ビットの各メタデータの値は、隣接する画素の成分値のどの組み合わせが画素Ｘの各成分の実際の値に最も近いかを決定することにより、設定される。

図５は図３に示す技術のさらなる変形例を示すもので、デジタル画像フレームの符号化の過程で、フレームから選択的に間引きされた画素の成分あたり４ビットのメタデータが生成されている。この場合のメタデータ値はしたがって、「００００」、「０００１」、「００１０」、「００１１」、「０１００」、「０１０１」、「０１１０」、「０１１１」、「１０００」、「１００１」、「１０１０」、「１０１１」、「１１００」、「１１０１」、「１１１０」、「１１１１」のいずれかとなる。生成し得る各メタデータ値は間引きされた画素Ｘの各成分の異なる近似値を表し、この異なる近似値は、フレーム内の一つ以上の隣接する画素の成分値の１６通りの異なる組み合わせから選択される。

図３に示す技術のさらなる可能な変形例としては、デジタル画像フレームの符号化の過程で、フレームから選択的に間引きされた画素の成分あたり４ビットより大きいメタデータ、例えば、数ある中から例を挙げれば５ビットまたは８ビットのメタデータを生成してもよい。成分ごとに使用できるメタデータのビット数がフレーム内の各画素成分のビット数と等しければ、特定の間引きされた画素に対し生成されるメタデータは、各々の成分に近似値を与える隣接する画素の成分値の組み合わせではなく、特定の間引きされた画素の各成分の「実際の」値を表すものとなる。２４ビット、３成分の画素からなるフレームの非限定的な例では、選択的に間引きされた画素の成分あたり８ビットのメタデータを使用することで、これらの成分値を単に近似するのではなく、間引きされた画素の成分の実際の値をメタデータで表すことが可能となる。

ここで重要なことは、各々の間引きされた画素Ｘの成分ごとに使用可能なメタデータのビット数に関わらず、隣接する画素の成分値の多様な組み合わせをあらかじめ設定することが可能であり、このような組み合わせをその画像フレームに対するメタデータの生成に用いてもよく、このような態様も本発明の範囲を逸脱するものではない。さらに、各々の間引きされた画素Ｘに対するメタデータを、フレーム内の隣接していない画素の成分値に基づいて、またはフレーム内の隣接する画素と隣接していない画素の組み合わせの成分値に基づいて生成することも可能であり、このような態様も本発明の範囲を逸脱するものではない。

上述した図３、図４、図５に示す例において、画像フレームの符号化をおこなう際に、当該画像フレームの選択的に間引きされた画素に対しメタデータを生成するということを説明してきた。フレームの間引きされた画素のサブセットはどのように構成してもよく、画像フレームの単一の間引きされた画素にまで小さくすることもできる。当然、メタデータを生成し伝送することの目的は受信側で（解凍後に）再現される画像フレームの品質を向上させることであるから、メタデータを生成する対象となる間引きされた画素の数が多いほど、またフレームの間引きされた各画素の成分ごとのメタデータのビット数が多いほど、受信側で再現される画像フレームの品質の向上の度合いは増大することとなる。

非限定的な具体例において、受信側で標準的な補間をおこなうと生じる元の画素成分値からのずれが所定の最大許容ずれ値を超える（すなわち標準的な補間によって再現されたフレームの品質が劣化する）ことが判明した間引きされた画素についてのみ、メタデータを生成することとしてもよい。言い換えれば、標準的な補間をおこなうと生じる元の画素成分値からのずれが所定の最大許容ずれ値より小さい（すなわち受信側で良質な補間処理が可能である）間引きされた画素については、メタデータを生成する必要はない。

本発明の実施例の一つの変形例では、画像フレームに符号化処理を施す過程において、当該フレームの選択的に間引きされた画素の選択された成分についてのみ、メタデータが生成される。つまり、特定の間引きされた画素について、メタデータは特定の画素の少なくとも一つの成分に対して生成すればよく、必ずしも当該特定の画素のすべての成分に対して生成しなくともよい。当然ながら、特定の間引きされた画素に標準的な補間処理をおこなって十分に良好な品質が得られる場合、当該特定の間引きされた画素に対しメタデータを生成しないことも可能である。非限定的な具体例において、間引きされた画素の特定の成分についてメタデータを生成するか否かは、間引きされた画素の特定の成分を標準的に補間した場合に生じる当該特定の成分の元の値からのずれがどの程度の大きさになるかに応じて決定される。すなわち、所定の最大許容ずれ値に対し、間引きされた画素の特定の成分を標準的に補間することによって元の成分値からのずれが所定の最大許容ずれ値より大きくなる場合には、その間引きされた画素の特定の成分に対してメタデータが生成される。逆に、間引きされた画素の特定の成分を標準的に補間することによってずれが所定の最大許容ずれ値より小さくなる場合には、言い換えれば間引きされた画素の特定の成分の標準的な補間によって充分に良好な画質が確保される場合には、その間引きされた画素の特定の成分に対してメタデータを生成する必要はない。

本発明の実施例の別の変形例では、画像フレームに符号化処理を施す過程において、符号化処理の過程でフレームから間引きまたは除去されたあらゆる画素のあらゆる成分に対して、メタデータが生成される。符号化されたフレームに関連付けられたメタデータを提供することによって、符号化されたフレームを受信側で復号化した際に、欠落している画素をより簡易にかつ効率よく補間することが可能となる。本変形例の具体的なケースでは、フレームの各間引きされた画素の各成分に対しメタデータが生成され、かつ成分ごとのメタデータのビット数が当該フレームの各画素成分の実際のビット数と等しい場合、受信側で再現される画像フレームは最高の品質が得られる。これは、符号化されたフレームに付随しておりそれゆえ受信側で使用可能なメタデータが、近似法や補間によらず、圧縮符号化によってフレームから間引きまたは除去されたあらゆる画素の実際の成分値を表しているからである。

本発明の実施例のさらなる変形例では、画像フレームに対応するメタデータの生成においては、メタデータ存在表示フラグが生成される。各々のフラグはフレーム自体、該フレームの特定の画素、あるいは該フレームの特定の画素の特定の成分のいずれかと関連付けられ、フレーム、特定の画素、あるいは特定の成分のいずれかに対するメタデータが存在するか否かを示す。１ビットのフラグの非限定的な例では、関連付けられたメタデータが存在する場合にフラグを「１」とし、関連付けられたメタデータが存在しない場合にフラグを「０」とすることができる。非限定的な具体例では、あるフレームに対しメタデータが生成されると、メタデータ存在表示フラグのマップも生成され、フラグは：１）当該フレームの各画素；２）当該フレームの画素のサブセットの各々の画素；３）当該フレームの各画素の成分のサブセットの各々の成分；または４）当該フレームの画素のサブセットの成分のサブセットの各々の成分；に対して付与される。画素のサブセットは、例えば、符号化処理の過程でフレームから間引きされた画素の一部または全部を含むこととしてもよい。関連付けられたメタデータを有する符号化されたフレームを復号化するとき、メタデータが符号化処理の過程でフレームから間引きされた画素の一部についてのみ生成されたか、または間引きされた画素の一部または全部の成分の一部についてのみ生成された場合には、このメタデータ存在表示フラグは特に有用である。

本発明の実施例のさらなる変形例では、画像フレームに関連付けられたメタデータの生成において、当該メタデータが生成された対象であるフレーム内での各画素の位置の情報が、このメタデータのヘッダーの中に埋め込まれる。このヘッダーはさらに、特定された画素位置ごとに、数ある中から例を挙げれば、メタデータが生成された対象である特定の成分の情報や、このような成分の各々に対し保存されているメタデータのビット数情報などを含んでもよい。

画像フレームに対するすべてのメタデータが生成されると、符号化されたフレームとそれに関連付けられたメタデータは、伝送または記録されるべく標準的な圧縮スキームによる圧縮が可能となる。フレームに対する最も適切な標準圧縮の方式は、関連付けられたメタデータに対する最も適切な標準圧縮の方式とは異なる場合がある。したがって、フレームとそれに関連付けられたメタデータは伝送前に異なった標準的圧縮処理が施されることがあるが、このような態様も本発明の範囲を逸脱するものではない。非限定的な具体例において、画像フレームのストリームは標準的ＭＰＥＧ２形式のビットストリームに圧縮される一方、関連付けられたメタデータのストリームは標準的ＭＰＥＧ形式のビットストリームに圧縮されてもよい。

符号化されたフレームとそれに関連付けられたメタデータが圧縮されると、適切な伝送媒体を介して受信側へそれらを伝送できる。あるいは、圧縮フレームとそれに関連付けられた圧縮メタデータはＤＶＤなど従来の記録媒体に記録することもできる。画像ストリームのフレームに対応して生成されたメタデータはこのように、画像ストリームが伝送媒体により送出されるかＤＶＤのような従来の記録媒体に記録されるかを問わず、画像ストリームに付随するものである。伝送の場合、圧縮メタデータストリームは伝送媒体の並行チャネルで伝送してもよい。記録の場合は、圧縮画像ストリームをＤＶＤのようなディスクに記録した後、圧縮メタデータストリームを、所有者データの保存のためにディスクに設けられた予備トラック（例えばユーザデータトラック）に記録してもよい。あるいは、伝送されるか記録されるかを問わず、圧縮メタデータを圧縮画像ストリームの各フレームに（例えばヘッダーに）埋め込んでもよい。さらには、圧縮に先立って各フレームに必ず施される色空間フォーマット変換を利用して、メタデータを画像ストリームに埋め込んでもよい。具体例の一つでは、立体画像ストリームの各フレームが圧縮および伝送／記録に先立ってＲＧＢフォーマットからＹＣｂＣｒ ４：２：２色空間に変換されるものとした場合、この画像ストリームをＲＧＢ ４：４：４ストリームとしてフォーマットし、４：２：２フォーマットから４：４：４フォーマットに変換したことにより生じる追加的な保存スペース（すなわち予備帯域）に、関連付けられたメタデータを（メインの映像データをＹＣｂＣｒ ４：２：２としたまま）保存してもよい。当然、伝送されるか記録されるかを問わず、画像ストリームのフレームとそれに関連付けられたメタデータはさまざまな処理法により結合してもよく（または単に相関付けてもよく）、このような態様も本発明の範囲を逸脱するものではない。

圧縮画像ストリームのフレームとそれに付随する圧縮メタデータが伝送媒体を介して受信側で受信されるか、またはプレーヤ（例えばＤＶＤドライブ）により従来の媒体から読み出されるとき、圧縮フレームとそれに関連付けられたメタデータは元のフレームを再現し表示するべく処理される。この処理は標準的解凍処理の適用を含み、ここでは圧縮フレームとそれに関連付けられた圧縮メタデータには異なる解凍処理が施されてもよい。この標準的解凍処理の後、フレームは、画像ストリームの元のフレームを再現するためにさらなる復号化処理を要するかもしれない。フレームが送信側で符号化されたものとした場合、画像ストリームの特定のフレームを復号化すると、関連付けられたメタデータがもしあれば、そのメタデータは、当該特定のフレームを再現するのに用いられる。非限定的な具体例において、特定のフレーム（または特定のフレームの特定の画素）に関連付けられたメタデータは、メタデータ値を特定の画素の成分値にマッピングした少なくとも一つのメタデータマッピングテーブル（図３、図４、図５に示すようなテーブル）を参照することにより、特定のフレームの欠落している画素の少なくとも一部の近似値または実際の値を決定するのに用いられる。メタデータマッピングテーブルに格納された特定の画素の成分値は、画素ごとのメタデータのビット数によって、欠落している画素の実際の成分値か、フレーム内の他の画素の成分値の組み合わせによる近似成分値のいずれかとなる。

上記のとおり、非限定的な具体例において、本発明によるメタデータ技術は立体画像ストリームに適用可能であり、この場合ストリームの各フレームは、左の画像シーケンスの画素と右の画像シーケンスの画素を併合した画像からなる。具体例の一つでは、立体画像ストリームの圧縮符号化処理は画素の間引きを含み、結果として符号化されたフレームが形成され、その符号化フレームの各々が左右両方の画像シーケンスの画素で形成された画素モザイクを含んでいる。復号化処理をおこなうには、これら左右の画像シーケンスから元の立体画像ストリームを再現するため、各々の欠落している画素の値を決定する必要がある。したがって、生成され、符号化された立体フレームに付随するメタデータは、受信側において各フレームの左右の画像シーケンスを復号化する際に欠落している画素の少なくとも一部を埋め合わせるのに用いられる。

立体画像ストリームの例についてさらに述べると、図６は、本発明の非限定的な実施例による、メタデータを用いて符号化した場合とメタデータを用いずに符号化した場合のデジタル画像フレームの再現におけるさまざまなＰＳＮＲ（ピークＳＮ比）結果を比較する実験データの表である。当業者には周知のとおり、ＰＳＮＲは損失を伴う圧縮符号化を経て再現される画像の品質評価の指標であり、この特定の例ではシグナルとはオリジナルの画像フレームでありノイズとは圧縮符号化が誘発した誤差である。ＰＳＮＲが高ければ、再現品質が高いことを示している。図６に示す結果は３種類の異なる立体フレーム（テスト１、テスト２、テスト３）のものであり、これらのフレームはいずれも２４ビット、３成分の画素で構成されている。これらのフレームの圧縮符号化は、メタデータの生成なし、間引きされた画素ごとに１２．５％のメタデータ生成（成分当たり１ビット）、間引きされた画素ごとに２５％のメタデータ生成（成分当たり２ビット）、間引きされた画素ごとに５０％のメタデータ生成（成分当たり４ビット）、の各場合についておこなった。この結果が明確に示しているのは、どのフレームについても、フレームから間引きされた画素を特徴付けるメタデータを提供することによって、当該フレームを再現したときにより高い設定可能なＰＳＮＲが得られる、ということである。より具体的には、どのフレームについても、間引きされた画素の成分当たりに提供されるメタデータのビット数が大きいほど、再現された画像フレームにおけるＰＳＮＲは高くなる。

実装面では、メタデータに基づく上述の符号化および復号化技術に必要な機能は、従来の伝送システムの一つ以上の処理装置、より具体的には従来の符号化および復号化システムに容易に組み込むことができる。図１の立体画像ストリームを生成し伝送するシステムを例にとれば、動画ミキサ２４を、圧縮処理すなわち二つの平面ＲＧＢ入力信号を単一の立体ＲＧＢ信号に符号化する処理に加え、メタデータ生成処理を実行できるよう設定できる。図２の圧縮画像ストリームを受信し処理をおこなうシステムを例にとれば、立体画像プロセッサ１１８を、符号化された立体画像ストリーム１０２を復号化してオリジナルの左右の画像シーケンスを再現する過程において、受信したメタデータを処理できるよう設定することができる。これらの例において、動画ミキサ２４および立体画像プロセッサ１１８を、メタデータ生成およびメタデータ処理をそれぞれ実行可能となるように設定するにあたり、例えば図３、図４、図５に図示された表のような１つ以上のメタデータマッピングテーブルに、これらの処理装置がアクセスできるようにする。このようなテーブルは、処理装置に搭載されたメモリに保存してもよいし、処理装置の外部メモリに保存してもよい。当然ながら、本発明によるメタデータに基づく符号化および復号化技術は、さまざまなソフトウエア、ハードウエア、ファームウエアなどを用いて実装することも可能であり、このような態様も本発明の範囲に含まれる。

本発明によるメタデータ技術は、従来のビデオ機器に対する下位互換性を持つという利点がある。図７はこの下位互換性を非限定的に例示するもので、立体画像ストリームのフレームがメタデータを伴って圧縮符号化され、ＤＶＤに記録されている。このＤＶＤを読み出す場合、メタデータを認識することも処理することもできない従来のＤＶＤプレーヤ７００は、メタデータを単に無視または廃棄し、符号化されたフレームのみを復号化／補間、そして表示する。メタデータ対応型のＤＶＤプレーヤ７０２は符号化されたフレームとそれに関連付けられたメタデータの双方を復号化および表示のため伝送するか、もしくは自ら符号化されたフレームの少なくとも一部を関連付けられたメタデータに基づいて復号化／補間し、その後復号化したフレームのみを表示のため伝送する。同様に、例えば表示装置それ自身のような、メタデータを処理不能な処理装置は、メタデータを単に無視し、符号化された画像フレームのみを処理する。図示されたように、従来の表示装置７０６はメタデータを廃棄し、メタデータを伴わない符号化されたフレームを復号化／補間する。メタデータを処理可能な表示装置７０８は、符号化されたフレームの少なくとも一部をこのメタデータに基づいて復号化する。

図８は、本発明の非限定的な実施例による、上記のメタデータに基づく符号化処理のフローチャートである。ステップ８００にて、デジタル画像ストリームのフレームが受信される。ステップ８０２では、伝送または記録に備えてフレームに符号化処理が施され、この符号化処理はフレームから画素の一部の間引きまたは除去を伴う。ステップ８０４では、フレームの符号化の過程でメタデータが生成されるが、このメタデータは符号化の過程で間引きされた少なくとも一つの画素の少なくとも一つの成分の値を表すものである。特定の間引きされた画素について、または間引きされた画素の特定の成分についてメタデータを生成するか否かは、特定の画素または成分を標準的に補間した場合に当該特定の画素または成分の元の値からのずれがどの程度の大きさになるかに応じて決定される。ステップ８０６では、符号化されたフレームとそれに関連付けられたメタデータが出力され、伝送または記録に備えて標準的圧縮処理（例えばＭＰＥＧやＭＰＥＧ２）を施すことができる状態となる。

図９は、本発明の非限定的な実施例による、上記のメタデータに基づく復号化処理のフローチャートである。ステップ９００にて、符号化された画像フレームとそれに関連付けられたメタデータが受信されるが、それらの両方があらかじめ標準的解凍処理（例えばＭＰＥＧやＭＰＥＧ２）を施されていてもよい。ステップ９０２では、オリジナルのフレームを再現するため、符号化されたフレームに復号化処理が施される。ステップ９０４では、符号化されたフレームを復号化する過程で関連付けられたメタデータが利用されるが、このメタデータは符号化の過程でオリジナルのフレームから間引きされた少なくとも一つの画素の少なくとも一つの成分の値を表すものである。これにより、オリジナルのフレームを再現するに当たって、特定の欠落している画素（すなわちオリジナルのフレームの符号化の際に間引きされた画素）に関してメタデータが存在していれば、標準的な補間処理をおこなうのではなく、そのメタデータを利用して欠落している画素またはこの欠落している画素の少なくとも一つの成分が埋め合わされる。ステップ９０６では、再現されたオリジナルのフレームが出力され、表示に備えて標準的処理を施すことができる状態となる。

以上、さまざまな実施形態を例示したが、これらは本発明を記述するためのものであって、限定するものではない。実行可能なさまざまな修正や異なった構成は当業者には自明であり、添付の特許請求の範囲に具体的に定義された本発明の範囲に含まれるものである。

Claims (50)

1. デジタル画像フレームを符号化する方法であって、
   ａ．前記フレームに符号化処理を施して符号化済みフレームを生成するステップであって、前記符号化処理は前記フレームの少なくとも一つの画素を間引くことを含む、ステップと、
   ｂ．前記フレームに前記符号化処理を施す過程で、前記少なくとも一つの間引きされた画素を、前記フレームの他の間引きされておらず符号化されていない画素から再現する手段を示すメタデータを生成するステップと、
   ｃ．前記符号化済みフレームを復号化するときに少なくとも一つの欠落している画素を補間するのに利用するため、前記メタデータを前記符号化済みフレームに関連付けるステップと、
   を含む、方法。
2. 前記メタデータは、前記フレームの少なくとも一つの間引きされた画素の少なくとも一つの成分の値を表す、請求項１に記載の方法。
3. 前記メタデータは、前記少なくとも一つの間引きされた画素の各々について、前記間引きされた画素の少なくとも一つの成分の近似値を表す、請求項２に記載の方法。
4. 前記近似値は、前記フレーム内の少なくとも一つの隣接する間引きされておらず符号化されていない画素の少なくとも一つの成分値の組み合わせである、請求項３に記載の方法。
5. 前記メタデータは、前記少なくとも一つの間引きされた画素の各々について、前記間引きされた画素の少なくとも一つの成分の実際の値を表す、請求項２に記載の方法。
6. 前記メタデータは、前記フレームに前記符号化処理が施される過程において、前記フレームから間引きされた画素の各々について生成される、請求項１〜５のいずれか１つに記載の方法。
7. 前記メタデータは、前記フレームにおける各々の間引きされた画素の少なくとも一つの成分について生成される、請求項６に記載の方法。
8. メタデータを生成する対象である前記フレームの各々の画素を特定するステップをさらに含む、請求項１〜７のいずれか１つに記載の方法。
9. 前記フレームに対してメタデータを生成するステップは、前記フレームの少なくとも一つの画素に関する表示を生成するステップを含み、前記表示はメタデータがそれぞれの画素について存在するか否かを表すものである、請求項８に記載の方法。
10. メタデータを生成する対象である前記フレームの各々の画素の各々の成分を特定するステップをさらに含む、請求項１〜９のいずれか１つに記載の方法。
11. 前記フレームに対してメタデータを生成するステップは、前記フレームの少なくとも一つの画素の少なくとも一つの成分に関する表示を生成するステップを含み、前記表示はメタデータがそれぞれの成分について存在するか否かを表すものである、請求項１０に記載の方法。
12. 前記符号化処理の過程で前記フレームから間引きされた画素の各々について、メタデータを生成するか否かを決定するステップをさらに含む、請求項１〜５のいずれか１つに記載の方法。
13. 前記符号化処理の過程で前記フレームから間引きされた画素の各々について、前記画素に対する標準的補間処理によって前記画素の元の値からずれが生じ、前記決定するステップは各々の画素の前記ずれと所定の最大許容ずれ値とを比較するステップを含む、請求項１２に記載の方法。
14. 特定の画素についての前記ずれが前記所定の最大許容ずれ値より大きい場合には、前記特定の画素についてメタデータを生成する、請求項１３に記載の方法。
15. 特定の画素についての前記ずれが前記所定の最大許容ずれ値より小さい場合には、前記特定の画素についてメタデータを生成しない、請求項１３に記載の方法。
16. 前記符号化処理の過程で前記フレームから間引きされた画素の各々について、前記画素の各々の成分についてメタデータを生成するか否かを決定するステップをさらに含む、請求項１〜５のいずれか１つに記載の方法。
17. 前記符号化処理の過程で前記フレームから間引きされた画素の各々について、前記画素の各々の成分に対する標準的補間処理によって前記成分の元の値からずれが生じ、前記決定するステップは各々の画素の各々の成分のずれと所定の最大許容ずれ値とを比較するステップを含む、請求項１６に記載の方法。
18. 特定の成分の前記ずれが前記所定の最大許容ずれ値より大きい場合には、前記特定の成分についてメタデータを生成する、請求項１７に記載の方法。
19. 特定の成分の前記ずれが前記所定の最大許容ずれ値より小さい場合には、前記特定の成分についてメタデータを生成しない、請求項１７に記載の方法。
20. 前記メタデータは、間引きされた画素あたり可変なビット数のデータを含む、請求項１〜１９のいずれか１つに記載の方法。
21. 前記メタデータは、前記少なくとも一つの間引きされた画素の成分あたり可変なビット数のデータを含む、請求項２０に記載の方法。
22. 前記メタデータは、前記少なくとも一つの間引きされた画素の各々の成分あたり１ビットのデータを含む、請求項２０または２１に記載の方法。
23. 前記メタデータは、前記少なくとも一つの間引きされた画素の各々の成分あたりＸビットのデータを含み、前記Ｘは２以上である、請求項２０または２１に記載の方法。
24. 前記フレームの各画素はＸビットのデータとＹ個の成分を含み、前記メタデータは前記少なくとも一つの画素の各々の成分あたりＸ／Ｙビットのデータを含む、請求項５に記載の方法。
25. 前記メタデータを生成するステップは、所定のメタデータマッピングテーブルを参照するステップを含む、請求項１に記載の方法。
26. 前記所定のメタデータマッピングテーブルはメタデータ値を画素成分値に対応づける、請求項２５に記載の方法。
27. 前記所定のメタデータマッピングテーブルの前記画素成分値は、画素成分値の近似値である、請求項２６に記載の方法。
28. 前記所定のメタデータマッピングテーブルの前記画素成分値は、前記フレームの少なくとも一つの画素の少なくとも一つの成分値の組み合わせの形態をとっている、請求項２６または２７に記載の方法。
29. 前記所定のメタデータマッピングテーブルの前記画素成分値は、実際の画素成分値である、請求項２６に記載の方法。
30. 前記画像フレームは立体画像フレームである、請求項１〜２９のいずれか１つに記載の方法。
31. 前記立体画像フレームに施された前記符号化処理は、圧縮符号化処理であり、圧縮された左目と右目の画像を併合するステップを含む、請求項３０に記載の方法。
32. 前記立体画像フレームの前記符号化処理によって、隣り合わせに併合された画像を含む前記フレームの符号化バージョンが形成される、請求項３１に記載の方法。
33. 前記立体画像フレームの前記符号化処理によって、互いに隣接するよう配置された第一および第二の画素モザイクを含む前記フレームの符号化バージョンが形成され、前記第一の画素モザイクは左目画像の画素で形成され、前記第二の画素モザイクは右目画像の画素で形成されている、請求項３１に記載の方法。
34. 符号化済みデジタル画像フレームを復号化して前記フレームのオリジナルバージョンを再現する方法であって、前記符号化済みフレームに復号化処理を施す過程でメタデータを利用するステップを含み、前記メタデータは、前記フレームの少なくとも一つの欠落している画素を前記フレームの他の復号化された画素から補間する手段を示す、方法。
35. 前記メタデータは、前記フレームの符号化の過程において前記フレームの前記オリジナルバージョンから間引きされた少なくとも一つの画素の少なくとも一つの成分の値を表す、請求項３４に記載の方法。
36. 前記メタデータは、前記フレームの符号化の過程において前記フレームの前記オリジナルバージョンから間引きされたすべての画素に関連付けられている、請求項３５に記載の方法。
37. デジタル画像ストリームのフレームを処理するシステムであって、
    ａ．前記画像ストリームのフレームを受信するプロセッサであって、前記プロセッサは前記フレームの符号化処理の過程でメタデータを生成する機能を有し、前記符号化処理は前記フレームの少なくとも一つの画素を間引くことを含み、前記メタデータは前記少なくとも一つの間引きされた画素を前記フレームの他の間引きされておらず符号化されていない画素から再現する手段を示す、プロセッサと、
    ｂ．前記プロセッサから前記フレームおよび前記メタデータを受信する圧縮器であって、前記フレームに第一の圧縮処理を施しかつ前記メタデータに第二の圧縮処理を施すことによって、圧縮済みフレームおよびそれに関連付けられた圧縮済みメタデータを生成する機能を有する、圧縮器と、
    ｃ．前記圧縮済みフレームおよび前記圧縮済みメタデータを送出する出力部と、
    を備える、システム。
38. 前記メタデータは、前記フレームの少なくとも一つの間引きされた画素の少なくとも一つの成分の値を表す、請求項３７に記載のシステム。
39. 前記メタデータは、前記フレームの前記少なくとも一つの間引きされた画素の各々について、前記画素の少なくとも一つの成分の近似値を表す、請求項３７または３８に記載のシステム。
40. 前記近似値は、前記フレーム内の少なくとも一つの隣接する画素の少なくとも一つの成分値の組み合わせである、請求項３９に記載のシステム。
41. 前記メタデータは、前記フレームの前記少なくとも一つの画素の各々について、前記画素の少なくとも一つの成分の実際の値を表す、請求項３７または３８に記載のシステム。
42. 前記プロセッサは、前記符号化処理の過程で前記フレームから間引きされたすべての画素について前記メタデータを生成する、請求項３７〜４１のいずれか１つに記載のシステム。
43. 前記プロセッサは、各々の間引きされた画素の各々の成分について前記メタデータを生成する、請求項４２に記載のシステム。
44. 前記プロセッサは、前記符号化処理の過程で前記フレームから間引きされた画素の各々について、前記画素に対しメタデータを生成するか否かを決定する機能を有する、請求項３７に記載のシステム。
45. 前記符号化処理の過程で前記フレームから間引きされた画素の各々について、前記画素に対する標準的補間処理によって前記画素の元の値からずれが生じ、前記プロセッサは各々の画素の前記ずれを所定の最大許容ずれ値と比較する機能を有する、請求項４４に記載のシステム。
46. 前記プロセッサは、特定の画素の前記ずれが前記所定の最大許容ずれ値より大きい場合にのみ、前記特定の画素についてメタデータを生成する、請求項４５に記載のシステム。
47. 圧縮済み画像フレームを処理するシステムであって、
    ａ．圧縮済みフレームおよびそれに関連付けられた圧縮済みメタデータを受信する解凍器であって、前記圧縮済みフレームに第一の解凍処理を施しかつ前記圧縮済みメタデータに第二の解凍処理を施すことによって、解凍済みフレームおよびそれに関連付けられた解凍済みメタデータを生成する機能を有する解凍器と、
    ｂ．前記解凍器から前記解凍済みフレームおよびそれに関連付けられた解凍済みメタデータを受信するプロセッサであって、前記プロセッサは、前記解凍済みフレームに復号化処理を施す過程で前記解凍済みメタデータを利用することによって前記解凍済みフレームのオリジナルバージョンを再現する機能を有し、前記解凍済みメタデータは前記解凍済みフレームの少なくとも一つの欠落している画素を前記解凍済みフレームの他の復号化された画素から補間する手段を示す、プロセッサと、
    ｃ．前記解凍済みフレームの前記オリジナルバージョンを送出する出力部と、
    を備える、システム。
48. 前記メタデータは、前記解凍済みフレームの前記オリジナルバージョンの少なくとも一つの画素の少なくとも一つの成分の値を示す、請求項４７に記載のシステム。
49. デジタル画像ストリームのフレーム処理をおこなう処理装置であって、前記処理装置は前記画像ストリームのフレームに符号化処理を施す過程においてメタデータを生成する機能を有し、前記符号化処理は前記フレームから少なくとも一つの画素を間引くことを含み、前記メタデータは前記少なくとも一つの間引きされた画素を前記フレームの他の間引きされておらず符号化されていない画素から再現する手段を示す、処理装置。
50. 解凍済み画像ストリームのフレーム処理をおこなう処理装置であって、前記処理装置は解凍済みフレームに関連付けられたメタデータを受信する機能、および前記解凍済みフレームに復号化処理を施す過程で前記メタデータを利用することによって前記解凍済みフレームのオリジナルバージョンを再現する機能を有し、前記メタデータは前記解凍済みフレームの少なくとも一つの欠落している画素を前記解凍済みフレームの他の復号化された画素から補間する手段を示す、処理装置。

Images