JP2019062570A - ハイブリッド上位互換性のあるデータストリームをデコードするための方法 - Google Patents

Abstract

【課題】公知のデコード方法のために設計されたデコードおよび／またはディスプレイハードウェアとの上位互換性を維持しつつ、同時に、効率的なビットストリームおよび拡張可能性を達成するための革新的なアプローチを提供する。【解決手段】デコードシステムにおいて、コンピュータプロセッサハードウェアは、データストリームをエンコードデータの複数の第１部分およびエンコードデータの複数の第２部分へとパースし、第１デコーダを実行して、エンコードデータの複数の第１部分を信号の第１表現へとデコードし、第２デコーダを実行して、エンコードデータの複数の第２部分を、信号の第１表現をどのように変更するかを指定する再構成データへとデコードし、再構成データを信号の第１表現に適用して信号の第２表現を生成する。【選択図】図１０

Description

複数の多次元信号の、または時間に沿って展開する複数の信号の圧縮および復元を扱う多くの技術が当技術分野において公知である。これは、オーディオ信号、ビデオ信号、並びに科学および医療領域において用いられるボリューム信号のような他の多次元信号の場合に当てはまる。高い圧縮比を達成するために、それらの技術は、信号内の空間および時間相関性を活用する。従来の方法は、基準を特定し、現在の位置と任意の基準との間の信号差を判断しようとする。これは、基準が、既に受信されデコードされた空間平面の一部（例えば、ブロック、または「マクロブロック」）である空間領域、および、信号の時間における単一のインスタンス（例えば、複数のフレームのシーケンスにおけるビデオフレーム）が特定の期間の基準として見なされる時間領域の両方において行われる。これは、例えば、前にデコードされたマクロブロックが空間領域における基準として見なされ、ＩフレームおよびＰフレームが時間領域における後続のＰフレームに関する基準として用いられるＭＰＥＧファミリーの圧縮アルゴリズムの場合に当てはまる。

公知の複数の技術は多くのやり方で空間相関性および時間相関性を活用し、差を特定、単純化、エンコード、および送信するために、いくつかの異なる技術を採用する。従来の方法において、ブロック内の複数の残余の空間相関性に活用するために、（例えば、周波数領域へと）ドメイン変換が実行され、その後、典型的にはある程度のブロックアーチファクトを導入しながら、変換情報の損失を生じさせる削除および量子化が実行される。時間領域において、代わりに、従来の方法は、現在のサンプルと動き補償された基準サンプルとの間の量子化された差を送信する。複数のサンプル間の類似性を最大化するために、エンコーダは、基準信号に対して生じた、時間に沿った変更を推定しようとする。これは、従来のエンコード法（例えば、ＭＰＥＧファミリーの技術、ＶＰ８、ＶＰ９等）において動き推定および補償と呼ばれる。

数少ない試みは別として当技術分野で公知の複数のエンコード法は、典型的には品質拡張可能性の要求を無視している。拡張可能なエンコード法は、圧縮された信号の単一のバージョンをエンコードし、異なる複数の品質レベル、帯域幅の利用可能性、およびデコーダの複雑性への配信を可能とするであろう。拡張可能性は、ＭＰＥＧ−ＳＶＣおよびＪＰＥＧ２０００のような公知の複数の方法において考慮に入れられているが、演算の複雑性、および概して言うと、それらの、複数の拡張不可能な技術との類似性に起因して、これまで採用の度合いは比較的低い。

複数のＭＰＥＧベースの技術（例えば、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４、Ｈ．２６５）は国際規格なので、専用のハードウェアブロックにより信号のデコードを実行するためにいくつかの専用のハードウェアチップが開発された。したがって、デコードデバイスのエコシステムが欠如していることに起因して、異なるエンコード技術の採用は困難である。

例えば、ＨＤＭＩ（登録商標）またはＤｉｓｐｌａｙＰｏｒｔなどの送信方法を介したディスプレイデバイスへのケーブル送信の場合など、ビデオ送信の他の複数の場合において、デコード／ディスプレイデバイスへのビデオコンテンツの送信は、送信ケーブルの容量により制約される。このことは、送信ケーブルの制約に起因して、任意の品質レベル（解像度またはフレームレートのいずれか）を超えるビデオコンテンツの送信を不可能とする。（市販されている複数のディスプレイデバイスによりサポートされる解像度およびフレームレートの連続的な高まりに起因して）時が経つにつれて、送信するデータ量は益々大きくなっているので、接続ケーブルにより課せられる制約は関連性の高い課題となってきており、しばしば、デコード／ディスプレイデバイスが表示することが出来るであろう品質レベルに対処するために送信ケーブルの不十分な容量を埋め合わせするために、それらデコード／ディスプレイデバイスに様々なタイプの補間（例えば、６０Ｈｚから２４０Ｈｚへのフレームレート補間）を実行することを強いている。

例えばビデオ会議のためなどのビデオ送信の他の複数の場合において、設置されたデコーダデバイスの幅広い基盤は、レガシーＳＤおよび／またはＨＤビデオコンテンツをデコードすることのみが可能であり、他方、より新しく、よりパワフルなテレプレゼンスシステムは、より高い解像度で品質のよいビデオコンテンツをデコードし得る。現在の方法は、単一のエンコードデータストリームで（すなわち、複数の別個のビデオストリームへとエンコード／トランスコードすることなく）、レガシーデコーダデバイスおよびより新しいデコーダデバイスの両方に対応することを不可能としている。

例えばブルーレイ（登録商標）ディスクのためなどのビデオ配信の他の複数の場合において、複数のデバイスの大規模なエコシステムは、レガシーＨＤビデオエンコードフォーマットをデコードすることのみが可能であり、他方、新たなデコードデバイスは、ＵｌｔｒａＨＤビデオをデコードし表示することが出来る。現在の方法は、広く設置されたレガシーデバイスによりＨＤビデオとして、および新たなデコードデバイスによりＵｌｔｒａＨＤビデオとして読み取られ得る単一のレガシー互換性のあるブルーレイ（登録商標）ディスクを流通させることを不可能としている。

複数の従来技術と対照的に、本明細書における複数の方法および実施形態は、公知のデコード方法のために設計されたデコードおよび／またはディスプレイハードウェアとの上位互換性を維持しつつ、同時に、効率的なビットストリームおよび拡張可能性を達成するための革新的なアプローチを表す。

本明細書に示されている複数の方法および実施形態は、複数のレガシーデコーダにより第１品質レベルまで、および、具体的に有効化されたデコーダにより１または複数の異なる（より高い）品質レベルまでデコードされるよう生成された上位互換ストリームを生成する複数のやり方も含む。

上位互換性により拡張可能性の目標を達成することとは別に、より高い複数の品質レベルのための異なるエンコード／デコード技術を使用することは、ビットストリーム全体に関するより高い効率性も達成し得る。

本明細書における複数の実施形態は、従来の複数のシステムおよび方法から逸脱し、任意の品質レベルまでのデコードのためにレガシーデコード方法を活用して信号をデコードする新規の複数の方法、および、任意の品質レベルのデコードされた信号に基づき最終的な（より高い）品質レベルの信号の表現を再構成する新規のデコード方法を提供する。

その最も幅広い態様によると、本願発明は、任意の解像度および／またはフレームレート（第１品質レベル）まで既存のデコードハードウェアを用い、その後、演算的にシンプルであるが、それでいて効果的な方法により１または複数の追加の品質レベルを再構成するための方法である。第１品質レベルより高い品質レベルのデコードを実行するよう更新されることが出来ない複数のレガシーデコードデバイスは、単に第１品質レベルの信号をデコードし、追加の拡張データを無視するであろう。すなわち、依然として、信号の表現をデコードすることが出来るであろう。

簡潔にするために、本明細書に示されている複数の非限定的な実施形態は、複数のサンプルのシーケンス（すなわち、２次元画像、ビデオフレーム、ビデオフィールド等）として信号について言及する。説明において、用語「画像」、「ピクチャ」または「平面」（「超平面」、すなわち、任意の数の次元および任意のサンプリンググリッドを有する複数の要素の配列の最も広い意味が意図されている）は、しばしば、複数のサンプルのシーケンスに従った信号のサンプルのデジタル表現を特定するのによく用いられる。各平面は、その次元（例えば、ＸおよびＹ）のそれぞれについての任意の解像度を有し、１または複数の「値」または「設定」によって（例えば、非限定的な例により、適切な色空間の色設定、密度レベルを示す設定、温度レベルを示す設定、オーディオピッチを示す設定、振幅を示す設定等）によって特徴付けられる、複数の面要素（または、「要素」または「ペル」、または、２次元画像についてはしばしば「画素」と呼ばれる表示要素、ボリューム画像についてはしばしば「ボクセル」と呼ばれる、等）のセットを含む。各面要素は、画像のサンプリンググリッドにおける当該要素の整数位置を示す適切な組の座標によって特定される。信号の複数の次元は、空間次元のみを含み得（例えば、画像の場合）、または時間次元も含み得る（例えば、時間が経つにつれて展開する信号の場合）。

複数の非限定的な例として、信号は、画像、オーディオ信号、マルチチャネルオーディオ信号、ビデオ信号、マルチビュービデオ信号（例えば、３Ｄビデオ）、ボリューム信号（例えば、医療用画像化、科学用画像化、ホログラフィック画像化等）、ボリュームビデオ信号、または、４つよりも多くの次元を含む複数の信号でさえあり得る。

簡潔にするために、本明細書に示されている複数の非限定的な実施形態はしばしば、例えばビデオ信号など複数の設定の２Ｄ平面（例えば、適切な色空間における２Ｄ画像）として表示される複数の信号について言及する。「フレーム」または「フィールド」という用語は、ビデオ信号のある時点におけるサンプルを示すのに「画像」という用語と交換可能に用いられるであろう。複数のフレームから成る複数のビデオ信号（プログレッシブビデオ信号）に関して示されている任意の複数の概念および方法は、複数のフィールドから成る複数のビデオ信号（インターレースされたビデオ信号）にも容易に適用可能であり得、またその逆も当てはまる。本明細書に示されている複数の実施形態がビデオ信号に焦点を当てているにも関わらず、当業者は、同じ複数の概念および方法が、任意の他のタイプの多次元信号（例えば、ボリューム信号、ビデオ信号、３Ｄビデオ信号、プレノプティック信号等）にも適用可能であることを容易に理解することが出来る。

本明細書に説明されている非限定的な実施形態において、信号プロセッサは、データストリームを受信し、それを２またはより多くのサブストリームへと分離されるよう構成される。第１サブストリームは、第１デコード方法によりデコードされ，第１品質レベルの信号の表現が生成される。第２サブストリームは第２デコード方法によりデコードされ、複数の残余が生成される。第１品質レベルの信号に基づき、信号プロセッサは、（より高い）第２品質レベルの信号の予測表現を生成する。信号プロセッサは、第２品質レベルの信号の予測（または「予備」）表現を複数の残余と組み合わせ、第２品質レベルの信号の表現を生成する。

本明細書に説明されている他の非限定的な複数の実施形態において、他のコンピュータデバイスに配置された信号プロセッサはデータストリームを受信するが、第２サブストリームをデコードするよう構成されていない。信号プロセッサは、第２サブストリームを無視し、単に第１サブストリームをデコードし、第１品質レベルの信号の表現を生成する。このやり方で、複数のレガシーデコーダは単に第２サブスクライバストリームを無視し、第２品質レベルの信号の表現の代わりに第１品質レベルの信号の表現を生成するので、データストリームにデータの第２サブスクライバストリームを含めることは、第２サブストリームをデコードするよう構成されていない複数のデコーダと実質的に上位互換である。

非限定的な実施形態において、方法は、ＭＰＥＧベースの方法に従ってデコードするよう設計されたハードウェアのファームウェア上で実施され、第１サブストリームは、当該ＭＰＥＧベースの方法に従ってデコードされる。

本明細書に説明されている他の非限定的な複数の実施形態において、第２サブストリームは、信号プロセッサにより実行される、第１品質レベルの信号に基づき、第２品質レベルの信号の予測または予備表現を生成する複数の処理に対応する複数のパラメータを含む。非限定的な実施形態において、当該複数のパラメータは、第１品質レベルの信号の表現をアップサンプリングするのに用いられるアップサンプリングカーネルの複数の係数を含む。

本明細書に説明されている他の非限定的な複数の実施形態において、デコードされた複数の残余は、第１品質レベルの第１残余セットと、第２品質レベルの第２残余セットとを含む。

本明細書に説明されている他の非限定的な複数の実施形態において、第２品質レベルの信号の予測表現を生成することは、第１品質レベルの信号の表現を第１残余セットと組み合わせることと、受信した複数のパラメータに対応する複数のアップサンプリング処理により第１品質レベルの信号の表現をアップサンプリングすることとを含む。

本明細書に説明されている他の非限定的な複数の実施形態において、残余セットをデコードすることは、変換され量子化された複数の残余をデコードすることと、変換され量子化された残余をそれらの間で、および／または複数の適切なパラメータとの間で合計および減算し、量子化された複数の残余を生成することと、量子化された複数の残余を逆量子化し、複数の残余を生成することとを含む。

非限定的な実施形態において、当該複数の適切なパラメータは、第１品質レベルの信号の表現の要素の値と、第２品質レベルの信号の予測表現の対応する複数の要素の平均との間の差を算出することにより得られる複数のパラメータを含む。

本明細書に説明されている他の非限定的な複数の実施形態において、残余セットをデコードすることは、量子化され変換された複数の残余をデコードすることと、量子化され変換された複数の残余を逆量子化し、変換された複数の残余を生成することと、変換された複数の残余を、それらの間で、および／または複数の適切なパラメータとの間で合計および減算し、複数の残余を生成することとを含む。

非限定的な一実施形態において、当該複数の適切なパラメータは、第１品質レベルの信号の表現の要素の値と、第２品質レベルの信号の予測表現の対応する複数の要素の平均との間の差を算出することにより得られる複数のパラメータを含む。

非限定的な実施形態において、複数の逆量子化処理が、任意のパラメータに従って各量子化範囲内の位置を特定することにより実行される。

非限定的な実施形態において、複数の逆量子化処理は、任意の確率分布に従って量子化範囲に含まれるランダム値を算出することにより、統計的ディザリングを用いて実行される。

他の非限定的な複数の実施形態において、量子化され変換された複数の残余をデコードすることは、エントロピーエンコードデータを受信し、それを適切なエントロピーデコード方法に従ってデコードすることを含む。非限定的な実施形態において、当該エントロピーデコード方法は、ハフマンデコードとランレングス（「ＲＬＥ」）デコードとの組み合わせである。他の非限定的な複数の実施形態において、当該エントロピーデコード方法は、静的算術エンコーダを含む。他の非限定的な複数の実施形態において、エントロピーデコーダは、デコードされることになる複数のシンボルの確率分布に対応する複数のパラメータを受信する。

更なる非限定的な複数の実施形態によると、同じシーケンスの複数の後続の画像に関する複数の残余は、複数の後続の画像間の相関性を効果的に活用するよう、同じ共通の基準（サポートバッファ）からデコードされる。

更なる非限定的な複数の実施形態によると、同じシーケンスの複数の後続の画像に関する１または複数の残余は、複数の後続の画像間の相関性を効果的に活用するよう、先行する画像の対応する複数の残余に基づきデコードされる。

本明細書に説明されている他の非限定的な実施形態において、信号プロセッサは、データストリームを受信し、それを３またはそれより多くのサブストリームへと分離するよう構成される。第１サブストリームは、第１デコード方法によりデコードされ、第１品質レベルの信号の表現が生成される。第２サブストリームは、第２のデコード方法によりデコードされ、デコーダが、第１品質レベルの信号の表現に基づき、（より高い）第２品質レベルの信号の表現を生成することを可能とする拡張データが生成される。第３サブストリームは、第３のデコード方法によりデコードされ、デコーダが、第２品質レベルの信号の表現に基づき、（より高い）第３品質レベルの信号の表現を生成することを可能とする拡張データが生成される。

更なる非限定的な複数の実施形態によると、データストリームは、ＭＰＥＧトランスポートストリームとして編成され、（異なる複数の品質レベルに対応する）異なる複数のサブストリームの複数のパケットは、それらが異なるエレメンタリーサブストリームに属することを示す異なる複数のパケット識別子（ＰＩＤ）を有する。本明細書に説明されているように、第１ＰＩＤによりデータにタグ付けすることは、第１デコーダによるデコードのためのデータの複数の部分を示し、第２ＰＩＤによりデータにタグ付けすることは、第２デコーダによるデコードのためのデータの複数の部分を示し、第３ＰＩＤによりデータにタグ付けすることは、第３デコーダによるデコードのためのデータの複数の部分を示す、等である。一実施形態において、（より高い複数の品質レベルを再構成することを可能とする）複数の拡張サブストリームに関する複数のＰＩＤは、それらが複数のレガシーデコーダにより無視されるように選択される。

更なる非限定的な複数の実施形態によると、データストリームは、ＨＤＭＩ（登録商標）データ送信として編成され、第１品質レベルに対応するサブストリームは、（ＨＤＭＩ（登録商標）フォーマットに従って送信される）非圧縮ビデオであり、拡張サブストリームデータはメタデータとして送信される。いくつかの非限定的な実施形態において、第２品質レベルは、第１品質レベルより高いフレームレートを有する。他の非限定的な実施形態において、第２品質レベルは、第１品質レベルより高い空間解像度を有する。非限定的な実施形態において、拡張データは、複数のブランキング期間に送信される（水平方向の各ブランキング期間におけるＩｓｌａｎｄ Ｐａｃｋｅｔの最大データは４４８バイトであり、追加のデータのために合計約４８０Ｍｂｐｓを残す。オーディオデータも複数のブランキング期間を用いるが、それらの大部分は拡張データのために利用可能である）。他の非限定的な複数の実施形態において、拡張データの送信は、Ｖｅｎｄｏｒ−Ｓｐｅｃｉｆｉｃ ＩｎｆｏＦｒａｍｅ（ＶＳＩ）を介したメタデータ送信を活用する。

更なる非限定的な複数の実施形態によると、データストリームはＤｉｓｐｌａｙＰｏｒｔ送信として編成され、第１品質レベルに対応するサブストリームは、（ＤｉｓｐｌａｙＰｏｒｔフォーマットに従って送信される）非圧縮ビデオであり、拡張サブストリームデータはメタデータとして送信される。

更なる非限定的な複数の実施形態によると、データストリームはブルーレイ（登録商標）ディスクファイルとして編成され、第１品質レベルに対応するサブストリームは、従来のブルーレイ（登録商標）ディスクビデオとしてエンコードされ、拡張サブストリームデータは、メタデータとしてブルーレイ（登録商標）ディスクに含められる。

第１実施形態の異なる並べ替え

他の複数の実施形態によると、コンピュータプロセッサハードウェアはデータストリームを受信する。コンピュータプロセッサハードウェアは、受信されたデータストリームを、エンコードデータの複数の第１部分およびエンコードデータの複数の第２部分へとパースする。コンピュータプロセッサハードウェアは第１デコーダを実行して、エンコードデータの複数の第１部分を信号の第１表現へとデコードする。コンピュータプロセッサハードウェアは第２デコーダを実行して、エンコードデータの複数の第２部分を再構成データへとデコードする。再構成データは、信号の第１表現をどのように変更するかを指定する。コンピュータプロセッサハードウェアは、再構成データを信号の第１表現に適用して、信号の第２表現を生成する。

上記の第１の例示的実施形態は、以下のまた更なる複数の実施形態を生成するのに、以下の複数の特徴の１または複数の何れかと共に実施され得る。

例えば、一実施形態において、エンコードデータの複数の第１部分は、非限定的な複数の例として、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２、ｈ．２６４、ＶＣ１、ＶＰ８、ＶＰ９、またはｈ．２６５によってなど、ＭＰＥＧまたはＭＰＥＧベースのフォーマットに従って、（コンピュータプロセッサハードウェアの第１デコーダを介し）デコードされる。エンコードデータの複数の第２部分から導出される再構成データは、階層的エンコードフォーマットに従って、（コンピュータプロセッサハードウェアの第２デコーダを介し）デコードされる。

また更なる複数の実施形態によると、エンコードデータの複数の第１部分は非圧縮ビデオデータを備え、再構成データは、エンコードデータの複数の第２部分から導出され、階層的エンコードフォーマットに従ってデコードされる。エンコードデータの複数の第２部分は圧縮データであり得ることに留意されたい。第２デコーダを実行することは、複数のアップサンプリング処理を圧縮データに適用して再構成データを生成することを含み得、適用される複数のアップサンプリング処理は、より低い解像度の複数の表示要素設定をより高い解像度の複数の表示要素設定に変換する。

また更なる複数の実施形態において、コンピュータプロセッサハードウェアは第１コンピュータプロセッサハードウェアである。システムは、第２コンピュータプロセッサハードウェア（第１デコーダを含み、第２デコーダを含まないレガシーデコーダなど）を含み得る。また第２コンピュータプロセッサハードウェアもデータストリームを受信する。第２コンピュータプロセッサハードウェアは、データストリームにおいて受信されたエンコードデータの複数の第１部分のみを、信号の第２の第１表現へとデコードを開始し、ディスプレイスクリーンでの信号の第２の第１表現の表示を開始する。

更なる例として、エンコードデータの複数の第１部分は、レガシーデコーダコンピュータプロセッサハードウェアと互換性のあるデコード方法に従って、（第１のタイプのデコーダを用いて）デコードされ得、データストリームは、エンコードデータの複数の第２部分がレガシーデコーダコンピュータプロセッサハードウェアにより用いられない（および／または無視される）よう編成される。レガシーデコーダコンピュータプロセッサハードウェアは、ｉ）エンコードデータの複数の第１部分のみのデコードを開始し、ｉｉ）それぞれのディスプレイスクリーン上での信号の第１表現の表示を開始する。

コンピュータプロセッサハードウェアにより受信されるデータストリームは、（第１デコーダにより処理される）エンコードデータの複数の第１部分が非圧縮ビデオデータであり、（第２デコーダにより処理される）エンコードデータの複数の第２部分が圧縮データであるＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）信号であり得る。代替的に、コンピュータプロセッサハードウェアにより受信されるデータストリームは、エンコードデータの複数の第１部分が非圧縮ビデオデータであり、エンコードデータの複数の第２部分が圧縮データであるＤｉｓｐｌａｙＰｏｒｔインタフェース上で受信され得る。

更なる非限定的な例示的実施形態によると、データストリームは、データ（ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）エンコードデータなど）の複数の第１部分とデータの複数の第２部分とを含むＭＰＥＧトランスポートストリームであり得、複数の第１部分と複数の第２部分とは、異なる複数のパケット識別子（ＰＩＤ）番号により特徴付けられる。

更なる非限定的な例示的実施形態によると、データストリームは、ブルーレイ（登録商標）ディスク上で格納されるように、およびブルーレイ（登録商標）ディスクデコーダデバイスによりデコードされるように編成されたファイルであり得る。データの複数の第１部分は、従来のＨＤビデオデータとしてブルーレイ（登録商標）フォーマットに含められ、第１のエンコード法（例えば、ｈ．２６４またはＶＣ１などＨＤビデオデータに関する従来のブルーレイ（登録商標）コーデック）を用いてエンコードされ、他方、データの複数の第２部分はレガシーＨＤブルーレイ（登録商標）ディスクデコーダデバイスにより無視されるメタデータとしてブルーレイ（登録商標）フォーマットに含められ、第２エンコード法に従ってエンコードされる。

一実施形態において、（データストリームにおけるエンコードデータの受信された複数の部分により捉えられた）信号は複数の表示要素を含み、信号の第２表現は、信号の第１表現より高い品質レベルを有する。

また更なる複数の実施形態において、信号の第２表現は、信号の第１表現と同じ表示要素解像度を有し得る。第２デコーダを実行してエンコードデータの複数の第２部分をデコードすることは、エンコードデータの複数の第２部分により指定されるように第１品質レベルの第１残余データセットをデコードすることと、第１残余データセットを利用して、信号の第１表現を変更し、信号の第２表現を生成することと、信号の第２表現に少なくとも部分的に基づき、信号の第２表現の解像度より高い解像度（いくつかの実施形態において、空間解像度。他の複数の実施形態において、時間解像度。さらに他の複数の実施形態において、空間および時間解像度の両方）を有する信号の第３表現を生成することと、エンコードデータの複数の第２部分により指定されるように第２品質レベルの第２残余データセットをデコードすることと、第２残余データセットを利用して、信号の第３表現を変更し、信号の第４表現を生成することとを含み得る。

加えて、コンピュータプロセッサハードウェアは、信号の第４表現に基づき、信号の第４表現の解像度より高い解像度（ここでも、特定の非限定的な実施形態に従って、空間および／または時間のいずれか）を有する信号の第５表現を生成する処理と、エンコードデータの複数の第２部分により指定されるように第３品質レベルの第３残余データセットをデコードする処理と、第３残余データセットを利用して、信号の第５表現を変更し、信号の第６表現を生成する処理とを実行するよう構成され得る。 信号の第１表現はインターレースされたビデオ信号であり得、信号の第６表現はプログレッシブビデオ信号であり得る。

他の非限定的な複数の実施形態において、受信されたデータストリームは、２より多くの別個のデコード方法に従って２より多くのデコーダによりデコードされた、エンコードデータの２より多くの別個の部分を含む。非限定的な実施形態において、受信されたデータストリームは、エンコードデータの３つの部分を含む。エンコードデータの複数の第１部分は、第１デコーダによりデコードされ、信号の第１表現が生成される。信号の第２表現は、信号の第１表現と同じ表示要素解像度を有する。第２デコーダを実行してエンコードデータの複数の第２部分をデコードすることは、エンコードデータの複数の第２部分により指定されるように第１品質レベルの第１残余データセットをデコードすることと、第１残余データセットを利用して、信号の第１表現を変更し、信号の第２表現を生成することと、信号の第２表現に少なくとも部分的に基づき、信号の第２表現の解像度より高い解像度を有する信号の第３表現を生成することと、エンコードデータの複数の第２部分により指定されるように第２品質レベルの第２残余データセットをデコードすることと、第２残余データセットを利用して、信号の第３表現を変更し、信号の第４表現を生成することとを含み得る。加えて、コンピュータプロセッサハードウェアは、エンコードデータの第３部分により指定されるように第３残余データセットをデコードする処理と、第３残余データセットを利用して、信号の第４表現を変更し、信号の第５表現を生成する処理と、信号の第５表現に基づき、信号の第５表現の解像度より高い解像度を有する信号の第６表現を生成する処理と、エンコードデータの複数の第３部分により指定されるように第４品質レベルの第４残余データセットをデコードする処理と、第４残余データセットを利用して、信号の第６表現を変更し、信号の第７表現を生成する処理と、信号の第７表現に基づき、信号の第７表現の解像度より高い解像度を有する信号の第８表現を生成する処理と、エンコードデータの複数の第３部分により指定されるように第５品質レベルの第５残余データセットをデコードする処理と、第５残余データセットを利用して、信号の第８表現を変更し、信号の第９表現を生成する処理とを実行するよう構成される。非限定的な実施形態において、信号の第１表現はインターレースされたＳＤビデオ信号であり、信号の第４表現は、インターレースされたＨＤビデオ信号であり、信号の第９表現は、プログレッシブＵｌｔｒａＨＤビデオ信号である。

第２デコーダを実行してエンコードデータの複数の第２部分をデコードすることは、エンコードデータの複数の第２部分により指定される複数のアップサンプリング処理を特定する処理と、複数のアップサンプリング処理を信号の第２表現に適用して、信号の第２表現の表示要素解像度より実質的に高い表示要素解像度を有する信号の第３表現を生成する処理とをさらに含み得る。いくつかの非限定的な実施形態において、より高い表示要素解像度はビデオ信号の各フィールドまたはフレームに関するより高い空間解像度（鉛直方向、水平方向、または鉛直方向および水平方向の両方）である。他の非限定的な複数の実施形態において、より高い表示要素解像度はより高い時間解像度（すなわち、より高いフレームレートのビデオ信号）である。さらに他の非限定的な複数の実施形態において、より高い表示要素解像度は、信号におけるより高い空間およびより高い時間解像度の両方である。

更なる複数の実施形態によると、エンコードデータの複数の第２部分により指定される複数のアップサンプリング処理を特定することは、アップサンプリングカーネルの特定の複数の係数に対応する複数のパラメータをデコードすることと、デコードされた複数のパラメータに少なくとも部分的に基づき、信号の第３表現の一部に対応するアップサンプリングカーネルを生成することと、信号の第３表現の一部を生成するために、アップサンプリングカーネルを信号の第２表現の一部に適用することとを含む。一実施形態において、信号の第３表現は、より実質的に高い表示要素解像度の信号の予備（または予測）表現である。第２デコーダを実行することは、再構成データを利用して、より実質的に高い表示要素解像度の信号の予備表現を変更することをさらに含み得、信号の変更された予備表現は、信号の予備表現と同じ解像度を有するが、より高い品質レベルを有する。したがって、エンコードデータの複数の第１部分により指定されるように、受信されたエンコードデータは、レガシーデコード方法（ＭＰＥＧ−２、ＭＰＥＧ−４、ＤｉｖＸ、ＡＶＣ／ｈ．２６４、ＳＶＣ、ＨＥＶＣ／ｈ．２６５、ＶＣ１、ＶＰ８、ＶＰ９等など。簡潔にするために「ＭＰＥＧデータ」）に従ってデコードされ得、または他の非限定的な複数の実施形態において、それは、非圧縮ビデオデータとして（例えば、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ、またはＤＶＩ送信フォーマットに従って）デコードされさえし得る。データストリームにおける拡張データ（エンコードデータの複数の第２部分など）はデコードされ得、ＭＰＥＧデータから導出される信号の表現をより高品質レベルの再生信号へと変換するのに用いられ得る。本明細書に説明されているように、拡張データは、非ＭＰＥＧエンコードフォーマットに従ってエンコードされる。

また更なる複数の実施形態によると、受信されたデータストリームにおけるエンコードデータの複数の第２部分から、第２デコーダは、階層的フォーマットに従ってエンコードされた再構成データを生成する。エンコードデータの複数の第２部分から得られる、または導出される再構成データは、残余データを含み得る。例えば、一実施形態において、再構成データは少なくとも第１残余データセットおよび第２残余データセットを含み、第１残余データセットは、信号の表現をどのように第１表示要素解像度で変更するかを指定し、第２残余データセットは、信号の表現をどのように第２表示要素解像度で変更するかを指定する。第２表示要素解像度は、第１表示要素解像度より高い。非限定的な実施形態において、第２残余データセットは、第１残余データセットに少なくとも部分的に基づきデコードされる。

コンピュータプロセッサハードウェアは、第１残余データセットを利用して、信号の第１表現を変更し、信号の第２表現を生成する更なる処理と、信号の第２表現に基づき、第２表示要素解像度の信号の予備表現である信号の第３表現を生成する更なる処理と、第２残余データセットを利用して、信号の第３表現を変更し、第２表示要素解像度の信号の第４表現を生成する更なる処理とを実行するよう構成され得る。

コンピュータプロセッサハードウェアは、変換された残余データから第２残余データセットを生成するよう構成され得る。一実施形態において、コンピュータプロセッサハードウェアはさらに、エンコードデータの複数の第２部分を、量子化され変換された残余データへとデコードする処理と、量子化された残余データを逆量子化して、変換された残余データを生成する処理と、変換された残余データと、信号の第２表現と、信号の第３表現とを処理して、第２残余データセットを再生成する処理と、再生成された第２残余データセットを信号の第３表現に適用して、信号の第４表現を生成する処理を実行する。

いくつかの非限定的な実施形態において、量子化され変換された残余データは、エンコードデータの複数の第２部分により指定されるシンボル確率分布に従って、スタティックレンジエントロピーデコード法に従ってエンコードデータの複数の第２部分からデコードされる。他の非限定的な複数の実施形態において、スタティックレンジエントロピーデコード法に従ってデコードされた、量子化され変換された残余データは、第１残余データセットにより指定されるように信号のより低い品質レベルから継承される複数のシンボルと組み合わせられる。さらに他の非限定的な複数の実施形態において、量子化され変換された残余データは、ランレングス（ＲＬＥ）デコード方法と組み合わせられたハフマンエントロピーデコード法に従って、エンコードデータの複数の第２部分からデコードされる。

更なる複数の実施形態において、コンピュータプロセッサハードウェアおよびそれぞれのデコードにより再生成される信号は、ビデオ信号である。残余データセットは、信号の複数の画像（フィールドまたはフレーム）に亘る時間的継承に従って生成され得、すなわち、任意の画像に関する１または複数の残余は、異なる画像に関してデコードされた残余データにより指定されるようにデコードされ得る。そのような場合、コンピュータプロセッサハードウェアはさらに、異なるフィールド／フレームに関してデコードされた残余データに少なくとも部分的に基づき、フィールド／フレームに関する残余データをデコードする複数の処理を実行する。

エンコードデータの複数の第１部分は、データストリームにおけるエンコードデータの複数の第２部分の間でインターリーブされ得る。データストリームをエンコードデータの複数の第１部分およびエンコードデータの複数の第２部分へとパースすることは、データストリームにおける複数のタグ（１または複数のＰＩＤまたはパケット識別子など）を利用して、データの複数の第１部分とデータの複数の第２部分とを特定することを含み得る。データストリームは、エンコードデータの複数の第１部分（レガシーデコーダデバイスによりデコード可能であるＭＰＥＧコーデックによりエンコードされたデータなど）に第１パケット識別子（ＰＩＤ）が割り当てられ、エンコードデータの複数の第２部分（層ベースの階層的方法によりエンコードされたエンコードデータなど）に第２パケット識別子（ＰＩＤ）が割り当てられるＭＰＥＧトランスポートストリームとして編成され得る。前に説明されているように、コンピュータプロセッサハードウェアは第１デコーダを実行して、エンコードデータの複数の第１部分を信号の第１表現へとデコードする。コンピュータプロセッサハードウェアは第２デコーダを実行して、エンコードデータの複数の第２部分を再構成データへとデコードする。

エンコードデータの複数の第１部分は、任意の適切なフォーマットで、すなわち、任意の適切なコーデックを用いてエンコードされ得る。非限定的な例示的実施形態によると、エンコードデータの複数の第１部分は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ｈ．２６４エンコードフォーマットに従ってエンコードされ得、エンコードデータの複数の第１部分は、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）エンコードフォーマットに従ってエンコードされ得る、などである。

いくつかの非限定的な実施形態によると、エンコードされ再生成される信号は、複数の表示要素の複数のフレーム（またはインターレースされたビデオ信号に関しては、複数のフィールド）を含むビデオ信号である。簡潔にするために、ビデオ信号の複数のタイムサンプルを示すのに「フレーム」および「フィールド」という用語が交換可能に用いられるであろう。

いくつかの非限定的な実施形態によると、信号を表現するために、コンピュータプロセッサハードウェアはさらに、エンコードデータの複数の第１部分とエンコードデータの複数の第２部分との間の複数のタイミング関連性を特定する複数の処理を実行するよう構成され得、複数のタイミング関連性は、信号の第１表現における複数の表示要素の複数のフレームのどれに再構成データが関連するかを示す。再構成データを信号の第１表現に適用して信号の第２表現を生成することは、複数のタイミング関連性に従って再構成データを利用して、信号の第１表現を信号の第２表現へと時間的にアップサンプリングすることを含み得、信号の第２表現は、複数の表示要素のフレームを信号の第１表現より多く含む。したがって、複数のタイミング関連性は、コンピュータプロセッサハードウェアが、エンコードデータの複数の第１部分とエンコードデータの複数の第２部分との間の関係を特定することを可能とし、さらにデータストリームが、エンコードデータの複数の第１部分から導出された信号の表現を、データストリームにおけるエンコードデータの複数の第２部分を用いてより高い品質レベルの信号へと変換することを可能とする。

また更なる複数の実施形態によると、信号は、信号の第１表現が第１フレームレートを有し、信号の第２表現が第１フレームレートより高い第２フレームレートを有するビデオ信号である。コンピュータプロセッサハードウェアはさらに、第１フレームレートの信号の第１表現に基づき、および再構成データにより指定されるように第２フレームレートの信号の予備表現を生成する処理と、再構成データにより指定されるように残余データセットを生成する処理と、残余データセットを第２フレームレートの信号の予備表現に適用して、信号の第２表現を生成する処理とを実行する。

更なる複数の実施形態において、再構成データを適用することは、再構成データにより指定されるように、信号の第２表現を、信号の第２表現より高い表示要素解像度を有する信号の第３表現へと空間的にアップサンプリングすることを有する。

また更なる複数の実施形態において、再構成データは、複数の表示要素解像度に従ってエンコードされた残余データの階層を含む。第２デコーダは、複数のアップサンプリング処理をエンコードデータの複数の第２部分に適用して、残余データの階層を再生成する。残余データの階層は、信号のより高い複数の品質レベルを導出するのに用いられるデータを圧縮する固有のやり方である。

前に説明されているように、信号はビデオ信号であり得る。残余データの階層は、信号における複数の表示要素の複数のフレームに亘る複数の残余の時間的継承に従って生成され得る。コンピュータプロセッサハードウェアは、残余データの階層の任意のレベルで、第２フレーム／フィールドに関してデコードされた残余データに少なくとも部分的に基づき、第１フレーム／フィールドに関して残余データをデコードする。第２フレーム／フィールドは、第１フレーム／フィールドが関連する時点とは異なる時点に対応する。

更なる非限定的な実施形態において、残余データの階層は、信号における複数の表示要素の任意のフレーム／フィールド内の複数の残余の空間的継承に従って生成される。コンピュータプロセッサハードウェアは、残余データの階層における任意の品質レベルで、残余データの階層におけるより低い品質レベルに関してデコードされた再構成データのみに基づき、任意のフレーム／フィールドの一部に関して残余データをデコードする。

更なる非限定的な実施形態において、残余データの階層は、信号における複数の表示要素の任意のフレーム／フィールド内の複数の残余の空間的継承、および異なる複数のフレーム／フィールドに亘る残余データの時間的継承の両方に従って生成される。コンピュータプロセッサハードウェアは、残余データの階層における任意の品質レベルで、残余データの階層におけるより低い品質レベルに関してデコードされた再構成データ、および残余データ基準セットのみに基づき、任意のフレーム／フィールドの一部に関して残余データをデコードする。

また更なる複数の実施形態において、コンピュータプロセッサハードウェアはさらに、残余データ基本セットから第１残余データセットを導出する処理と、残余データ基本セットから、第１残余データセットとは異なる第２残余データセットを導出する処理と、第１残余データセットを、信号の第１表現の第１タイムサンプルに適用して、信号の第２表現における対応する第１タイムサンプルを生成する処理と、第２残余データセットを、信号の第１表現の第２タイムサンプルに適用して、信号の第２表現における対応する第２タイムサンプルを生成する処理とを実行する。信号の第２表現に基づき、コンピュータプロセッサハードウェアは、より実質的に高い表示要素解像度の信号の予備表現である信号の第３表現を生成する。コンピュータプロセッサハードウェアはさらに、第２残余データ基本セットをデコードし、第２残余データ基本セットから第３残余データセットを導出し、第２残余データ基本セットから、第３残余データセットとは異なる第４残余データセットを導出し、第３残余データセットを、信号の第３表現の第１タイムサンプルに適用して、信号の第４表現における対応する第１タイムサンプルを生成し、第４残余データセットを、信号の第３表現の第２タイムサンプルに適用して、第４残余データセットの信号の第４表現における対応する第２タイムサンプルを生成する。

さらに追加の複数の実施形態によると、コンピュータプロセッサハードウェアは、エンコードデータの複数の第２部分を変換された残余データへとデコードし、変換された残余データを処理して、量子化された残余データを生成し、量子化された残余データを逆量子化して、残余データを再生成し、再生成された残余データを信号の第１表現に適用して信号の第２表現を生成する。

更なる非限定的な例によると、コンピュータプロセッサハードウェアは、エンコードデータの複数の第２部分を第１品質レベルの残余データへとデコードし、第１品質レベルの残余データに基づき、第１品質レベルより高い第２品質レベルの残余データの予備表現を生成し、エンコードデータの複数の第２部分を、量子化され変換された残余データへとデコードし、量子化され変換された残余データを逆量子化して、変換された残余データを生成し、変換された残余データと、第１品質レベルの残余データと、第２品質レベルの残余データの予備表現との組み合わせを処理して、第２品質レベルの残余データを再生成し、第２品質レベルの再生成された残余データを信号の第１表現に適用して、信号の第２表現を生成するよう構成され得る。

加えて、コンピュータプロセッサハードウェアは、信号の第２表現に基づき、より実質的に高い表示要素解像度の信号の予備表現である信号の第３表現を生成し、エンコードデータの複数の第２部分を新たな変換された残余データセットへとデコードし、新たな変換された残余データセットと、信号の第２表現と、信号の第３表現との組み合わせを処理して、新たな残余データセットを生成し、新たな残余データセットを信号の第３表現に適用して、信号の第４表現を生成するよう構成され得る。

更なる複数の実施形態において、コンピュータプロセッサハードウェアは、アップサンプリング処理を信号の第２表現に適用して、信号の第２表現より実質的に高い表示要素解像度を有する信号の第３表現を生成するよう構成され得る。アップサンプリング処理の適用は、信号の第２表現における複数の表示要素に関する複数の設定に基づき、信号の第３表現における表示要素に関する複数の設定を導出することを含み得る。

一実施形態において、前に説明されているように、再構成データは残余データを含む。コンピュータプロセッサハードウェアは、残余データを信号の第３表現における複数の表示要素に適用して、信号の第４表現を生成する。適用される残余データは、信号の第３表現における複数の表示要素の複数の設定を変更して、信号の第４表現における対応する複数の表示要素に関する複数の設定を生成する。加えて、第２デコーダを実行してエンコードデータの複数の第２部分を残余データへとデコードするとき、第２デコーダは、結果を、任意の確率分布に従って生成される実質的にランダムな数と組み合わせることにより残余データにおける少なくとも１つの残余をデコードする。

また更なる複数の実施形態によると、コンピュータプロセッサハードウェアは、ハフマンエントロピーデコードおよび／またはランレングス（ＲＬＥ）デコード方法を介し、エンコードデータの複数の第２部分の少なくともいくつかをデコードする。

また更なる複数の実施形態において、コンピュータプロセッサハードウェアは、再構成データにおいて指定されるシンボル確率分布に従って、スタティックレンジエントロピーデコーダを介しエンコードデータをデコードする。他の実施形態によると、コンピュータプロセッサハードウェアは、再構成データにおいて指定されるシンボル確率分布に従って静的算術エントロピーデコーダを介しエンコードデータをデコードする。

第２の実施形態の異なる並べ替え

更なる複数の実施形態によると、コンピュータプロセッサハードウェアはデータストリームを受信する。コンピュータプロセッサハードウェアは、データストリームを、エンコードデータの複数の第１部分、エンコードデータの複数の第２部分、およびエンコードデータの複数の第３部分へとパースする。コンピュータプロセッサハードウェアは第１デコーダを実行して、エンコードデータの複数の第１部分を第１品質レベルの信号の第１表現へとデコードする。コンピュータプロセッサハードウェアは第２デコーダを実行して、エンコードデータの複数の第２部分を、信号の第１表現を第１品質レベルより高い第２品質レベルの信号の第２表現へとどのように変更するかを指定する第１再構成データへとデコードする。コンピュータプロセッサハードウェアは、第１再構成データと信号の第１表現とを処理して、第２品質レベルの信号の第２表現を生成する。コンピュータプロセッサハードウェアは第３デコーダを実行して、エンコードデータの複数の第３部分を第２再構成データへとデコードする。第２再構成データは、信号の第２表現を、第３品質レベルの信号の第３表現へとどのように変更するかを指定する。第３品質レベルは、第２品質レベルより高い。コンピュータプロセッサハードウェアは、第２再構成データと信号の第２表現とを処理して、第３品質レベルの信号の第３表現を生成する。

この第２の例示的実施形態は、以下のまた更なる複数の実施形態、または本明細書に説明されている他の複数の実施形態を生成するのに、以下の複数の特徴の１または複数の何れかと共に実施され得る。

例えば、非限定的な一実施形態において、エンコードデータの複数の第１部分は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２、ｈ．２６４、ＶＣ１、またはｈ．２６５などＭＰＥＧフォーマットに従ってデコードされ得る。コンピュータプロセッサハードウェアは、エンコードデータの複数の第２部分から第１再構成データを導出する。コンピュータプロセッサハードウェアは、エンコードデータの複数の第３部分から第２再構成データを導出する。エンコードデータの複数の第２部分およびエンコードデータの複数の第３部分の両方が、１または複数の階層的エンコードフォーマットに従ってエンコードされた圧縮ビデオデータであり得る。

第３の実施形態の異なる並べ替え

更なる複数の実施形態によると、コンピュータプロセッサハードウェアはデータストリームを受信する。コンピュータプロセッサハードウェアは、受信されたデータストリームを、既にデコードされたデータとまだデコードされていないエンコードデータの複数の部分へとパースする。デコードデータは、信号の第１表現と関連付けられた複数の設定を指定する。一実施形態において、コンピュータプロセッサハードウェアはデコードデータ（非圧縮データなど）を利用して、信号の第１表現を生成する。コンピュータプロセッサハードウェアはデコーダを実行して、エンコードデータ（圧縮データなど）を再構成データへとデコードする。再構成データは、信号の第１表現をどのように変更するかを指定する。コンピュータプロセッサハードウェアは、再構成データを信号の第１表現に適用して、信号の第２表現を生成する。

この例示的実施形態は、以下のまた更なる複数の非限定的な実施形態を生成するのに、以下の複数の特徴の１または複数の何れかと共に実施され得る。

例えば、他の複数の実施形態によると、データストリームにおけるエンコードデータは、データが、それぞれの圧縮階層における異なる複数の解像度に従ってエンコードされる階層的エンコードフォーマットに従ってエンコードされ得る。コンピュータプロセッサハードウェアは、階層における複数のより高いレベルの残余データを生成する複数のアップサンプリング処理を適用する。一実施形態において、複数のアップサンプリング処理は、より低い解像度の複数の表示要素設定を、信号の予備表現を変更するのに続いて用いられるより高い解像度の複数の表示要素設定に変換する。一実施形態において、信号の予備表現を変更するのに続いて用いられるより高い解像度の残余データを生成するために、アップサンプリングされた複数の要素設定（すなわち、より高い品質レベルの予備的な残余データセット）は、再構成データからデコードされた相対的な残余データと組み合わせられる。

更なる複数の実施形態によると、信号は、複数の表示要素のための複数の設定を指定するビデオ信号であり、信号の第２表現は、信号の第１表現より高い品質レベルを有し、信号の第２表現は、信号の第１表現と同じ表示要素解像度を有する。

デコーダを実行してエンコードデータをデコードすることは、エンコードデータにより指定される複数のアップサンプリング処理を特定することと、複数のアップサンプリング処理を信号の第２表現に適用して、信号の第２表現より実質的に高い表示要素解像度（時間および／または空間）を有する信号の第３表現を生成することとを含み得る。いくつかの非限定的な実施形態において、信号の第３表現は、同じ時間的表示要素解像度を有し、信号の第２表現より実質的に高い空間的表示要素解像度を有する。他の非限定的な複数の実施形態において、信号の第３表現は、より実質的に高い時間的表示要素解像度を有し（すなわち、より高いフレームレートを有し）、信号の第２表現と同じ空間的表示要素解像度を有する。さらに他の複数の非限定的な実施形態において、信号の第３表現は、信号の第２表現より実質的に高い時間的および空間的表示要素解像度を有する。

また更なる複数の実施形態によると、信号の第３表現は、より実質的に高い表示要素解像度の信号の予備表現であり得る。デコーダを実行することは、再構成データを利用して、より実質的に高い表示要素解像度の信号の予備表現を変更することをさらに含み得、信号の変更された予備表現は信号の予備表現より高い品質レベルを有し得る。

本明細書における複数の実施形態は、ソフトウェアまたはハードウェアで実施され得、または、ソフトウェアおよびハードウェアの組み合わせを用いて実施され得、本明細書に開示されている複数の方法の処理のいずれかまたは全てを実行および／またはサポートする１または複数のコンピュータ化されたデバイス、ルータ、ネットワーク、ワークステーション、ハンドヘルドまたはラップトップコンピュータ、タブレット、携帯電話、ゲームコンソール、セットトップボックス、ビデオ会議機器、ビデオ再生機等の構成を含み得ることに留意されたい。言い換えると、１または複数のコンピュータ化されたデバイスまたはプロセッサは、異なる複数の実施形態を実行するよう本明細書に説明されているように動作するようプログラムおよび／または構成され得る。

上記にて説明されている複数の技術に加えて、本明細書におけるさらに他の複数の実施形態は、上記にて要約され、以下に詳細に開示される複数のステップおよび処理を実行する複数のソフトウェアプログラムを含む。１つのそのような実施形態は、コンピュータプログラムロジック、命令等を含むコンピュータ可読ハードウェアストレージリソース（すなわち、非一時的コンピュータ可読媒体）を備える。当該コンピュータプログラムロジック、命令等は、当該コンピュータ可読ハードウェアストレージリソース上でエンコードされ、プロセッサおよび対応するメモリを有するコンピュータ化されたデバイスで実行されたときに、当該プロセッサを、本明細書に開示されている複数の処理の何れかを実行するようプログラムする、および／または当該プロセッサにそれらを実行させる。そのような構成は、光媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、またはブルーレイ（登録商標））、フラッシュメモリカード、フロッピー（登録商標）またはハードディスク、または１または複数のＲＯＭまたはＲＡＭまたはＰＲＯＭチップにファームウェアまたはマイクロコードなどのコンピュータ可読命令を格納可能な任意の他の媒体などコンピュータ可読媒体上で構成またはエンコードされたソフトウェア、コード、および／または他のデータ（例えば、データ構造）として、若しくは、特定用途向け集積回路（ＡＳＩＣ）として提供され得る。ソフトウェアまたはファームウェアまたは他のそのような複数の構成は、本明細書に説明されている複数の技術をコンピュータ化されたデバイスに実行させるよう当該コンピュータ化されたデバイスにインストールされ得る。

したがって、本開示の１つの特定の実施形態は、複数の信号処理オペレーションをサポートするための複数の命令が格納されたコンピュータ可読ハードウェア記憶媒体を含むコンピュータプログラムプロダクトを対象としている。コンピュータプロセッサハードウェアにより実行されたときに複数の命令は、システムのコンピュータプロセッサハードウェアに、
データストリームをエンコードデータの複数の第１部分およびエンコードデータの複数の第２部分へとパースする工程と、
第１デコーダを実行して、エンコードデータの複数の第１部分を信号の第１表現へとデコードする工程と、
第２デコーダを実行して、エンコードデータの複数の第２部分を、信号の第１表現をどのように変更するかを指定する再構成データへとデコードする工程と、
再構成データを信号の第１表現に適用して信号の第２表現を生成する工程と
を実行させる。

本開示の他の実施形態は、複数の信号処理オペレーションをサポートするための複数の命令が格納されたコンピュータ可読ハードウェア記憶媒体を含むコンピュータプログラムプロダクトを対象としている。コンピュータプロセッサハードウェアにより実行されたときに複数の命令は、システムのコンピュータプロセッサハードウェアに、
データストリームを、エンコードデータの複数の第１部分、エンコードデータの複数の第２部分、およびエンコードデータの複数の第３部分へとパースする工程と、
第１デコーダを実行して、エンコードデータの複数の第１部分を、第１品質レベルの信号の第１表現へとデコードする工程と、
第２デコーダを実行して、エンコードデータの複数の第２部分を、信号の第１表現をどのようにして、第１品質レベルより高い第２品質レベルの信号の第２表現へと変更するかを指定する第１再構成データへとデコードする工程と、
第１再構成データと信号の第１表現とを処理して、第２品質レベルの信号の第２表現を生成する工程と、
第３デコーダを実行して、エンコードデータの複数の第３部分を、信号の第２表現をどのようにして、第２品質レベルより高い第３品質レベルの信号の第３表現へと変更するかを指定する第２再構成データへとデコードする工程と、
第２再構成データと、信号の第２表現とを処理して、第３品質レベルの信号の第３表現を生成する工程と
を実行させる。

本開示の他の実施形態は、複数の信号処理オペレーションをサポートするための複数の命令が格納されたコンピュータ可読ハードウェア記憶媒体を含むコンピュータプログラムプロダクトを対象としている。コンピュータプロセッサハードウェアにより実行されたときに複数の命令は、システムのコンピュータプロセッサハードウェアに、
受信されたデータストリームを、信号の第１表現と関連付けられた複数の設定を指定するデコードデータおよびエンコードデータへとパースする工程と、
デコードデータを利用して、信号の第１表現を生成する工程と、
デコーダを実行して、エンコードデータを、信号の第１表現をどのように変更するかを指定する再構成データへとデコードする工程と、
再構成データを、信号の第１表現に適用して、信号の第２表現を生成する工程と
を実行させる。

これらのステップの順序は、明確とするべく追加されている。これらのステップは、任意の適切な順番で実行され得る。

本開示の他の複数の実施形態は、上記にて要約され、以下に詳細に開示されている方法の実施形態の複数のステップおよび処理の何れかを実行するソフトウェアプログラム、ファームウェア、および／またはそれぞれのハードウェアを含む。

また、本明細書に説明されているシステム、方法、装置、コンピュータ可読記憶媒体上の命令等は、プロセッサ内、またはオペレーティングシステム内、またはソフトウェアアプリケーション内等などで厳密にソフトウェアプログラムとして、ソフトウェア、ファームウェア、および／またはハードウェアのハイブリッドとして、若しくは、単独でハードウェアとして具現化され得ることが理解される。

上記にて説明したように、本明細書における複数の技術は、複数の信号を処理し、エンコードデータの複数のビットストリームを生成する、またはエンコードデータの複数のビットストリームを処理し、複数の信号の複数の表現を生成するソフトウェア、ファームウェア、および／またはハードウェア用途での使用によく適している。しかし、本明細書における複数の実施形態はそのような複数の用途での使用に限定されず、本明細書で説明されている複数の技術は他の複数の用途にも同様によく適していることに留意すべきである。

加えて、本明細書における複数の異なる特徴、技術、構成等のそれぞれが本開示の複数の異なる箇所において説明されるかもしれないが、それら概念のそれぞれは、互いに独立して、または、互いに組み合わせて実行され得ることが意図されていることに留意されたい。したがって、本明細書で説明される１または複数の本願発明、実施形態等は、多くの異なるやり方で具現化されること、および見ることが出来る。

また、本明細書における複数の実施形態の予備的な説明は、本開示の、または特許請求されている本願発明のあらゆる実施形態、および／または、増分的に新規の態様を特定しているのではないことに留意されたい。代わりに、この簡潔な説明は、一般的な実施形態、および従来技術に対して新規性を有する対応する点のみを提示している。発明の追加の複数の詳細および／または可能な考え方（並べ替え）に関して、読者には、以下にさらに説明されている本開示の詳細な説明のセクション、および対応する複数の図面を参照されたい。

本願発明の先述した、および他の目的、特徴、および利点は添付の図面に図示される本明細書における好ましい実施形態の以下のより具体的な説明から明らかとなろう。図面において同様の参照文字は、異なる図面間で同じ部分を指す。複数の図面は必ずしも縮尺通りではなく、代わりに、複数の実施形態、原理、概念等を図示することに重点が置かれている。
本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図であり、本明細書における複数の実施形態に係るそれぞれのデータストリームを処理するコンピュータプロセッサハードウェアを図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図であり、本明細書における複数の実施形態に係るそれぞれのデータストリームを処理するコンピュータプロセッサハードウェアを図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係るデコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係る残余デコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係る残余デコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係る残余デコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係る、変換された残余デコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係る、変換された残余デコードシステムおよび方法を図示する例示的な図である。 本明細書における複数の実施形態に係る変換された残余データの使用を図示する例示的な図である。 本明細書における複数の実施形態に係る変換された残余データの使用を図示する例示的な図である。 本明細書における複数の実施形態に係る変換された残余データの使用を図示する例示的な図である。 本明細書における複数の実施形態に係るデータ処理をサポートするコンピュータシステムを図示する例示的なブロック図である。 本明細書における複数の実施形態に係るデコードを図示する例示的なフローグラフである。 本明細書における複数の実施形態に係るデコードを図示する例示的なフローグラフである。 本明細書における複数の実施形態に係るデコードを図示する例示的なフローグラフである。 本明細書における複数の実施形態に係るエンコードを図示する例示的なブロック図である。 本明細書における複数の実施形態に係るエンコードを図示する例示的なブロック図である。

本明細書に示されている複数の方法は、音声信号、マルチチャネル音声信号、ピクチャ、２次元画像、ビデオ信号、マルチビュービデオ信号、３Ｄビデオ信号、ボリューム信号、ボリュームビデオ信号、医療用画像信号、４つよりも多くの次元の信号等を含むがこれらに限定されない任意のタイプの多次元信号に適している。

簡潔にするために、説明に沿って示されている複数の実施形態は、ビデオシーケンス、すなわち、一連の２Ｄ画像（概して、「フレーム」、またはインターレースされたビデオ信号の場合には「フィールド」と呼ばれる。これら用語は本願において実質的に交換可能に用いられる）から成る時間ベースの信号のエンコードおよびデコードを使用するケースを通常採用している。（そのような非限定的な例の場合において典型的には「画素」と呼ばれる）各要素は、適切な色空間における複数の色設定のセット（例えば、ＹＵＶ、ＲＧＢ、ＨＳＶ等）により特徴付けられる。２つの色度（ＵおよびＶ）平面は典型的には、輝度（Ｙ）平面に関して算出された動き補償情報を活用するが、異なる複数の色平面（例えば、Ｙ平面、およびＵおよびＶ平面）はしばしば別々に、および（人の目の、色度情報に対するより低い感度に起因して）しばしば異なる複数の解像度でエンコードされる。

本明細書に示されている複数の方法および実施形態は、互いに、および／または他の複数の方法と関連して用いられ得る。本明細書に示されている好ましい複数の実施形態の多くは、マルチスケールデコード（例えば、非限定的な例として、同じＴＶ（テレビ）チャネルのＳＤ（標準解像度）およびＨＤ（高解像度）バージョンを単一のデータストリームに含めること）と、効率的な圧縮（すなわち最少のビット量を用いて信号の適切な表現のエンコード）とを達成することを目標として複数の技術およびアルゴリズムを説明する。このことも非限定的な例である。他の非限定的な複数の実施形態は、処理能力の消費の低減、エネルギー効率性、ＣＰＵの発熱の低減、並列処理アーキテクチャの使用等などの異なる複数の目的を達成する。

図１Ａは、本明細書における複数の実施形態に係るエンコードおよびデコードシステムを図示する非限定的な例示的な図である。

エンコーダ１１０は、信号１００を受信し、それをデータストリーム１１５へとエンコードする。デコーダ１２０は、データストリーム１１５を受信し、再構成信号１５０を生成する。非限定的な実施形態において、信号１００および信号１５０はビデオ信号であり、それぞれが、それぞれの一連の画像１００−１、１００−２、・・・１００−ｎ、および１５０−１、１５０−１、１５０−２、・・・１５０−ｎを備える。信号１５０の各画像１５０−ｉは、信号１００のそれぞれの元の画像１００−ｉの再構成表現である。例えば、画像１５０−１は画像１００−１の再構成であり、画像１５０−２は元の画像１００−２の再構成である、などである。

図１Ｂは、本明細書における複数の実施形態に係る、マルチスケールエンコードおよびデコードシステムを図示する非限定的な例示的な図である。

本例示的実施形態において、コンピュータプロセッサハードウェア１０６は、デコーダ１２０とレガシーデコーダ１３０とを含む。

エンコーダ１１０は信号１００を受信し、それをハイブリッドマルチスケールデータストリーム１１５へとエンコードする。レガシーデコーダ１３０はデータストリーム１１５を受信し、第１品質レベルの再構成ＳＤ信号１４０を生成する。デコーダ１２０はデータストリーム１１５を受信し、第１品質レベルより高い第２品質レベルの再構成ＨＤ信号１５０を生成する。

非限定的な実施形態において、第２品質レベルの信号１５０は、第１品質レベルより高い解像度（空間および／または時間）を有する。他の非限定的な実施形態において、データストリーム１１５の一部をデコードするために、レガシーデコーダ１３０は、ＭＰＥＧベースの複数のデコード技術（例えば、ＭＰＥＧ２、ｈ．２６４等）を活用する。他の非限定的な実施形態において、デコーダ１２０は、再構成ＨＤ信号１５０を生成するための基準として、再構成ＳＤ信号１４０を生成する。言い換えるとコンピュータプロセッサハードウェア１０６は、再構成ＨＤ信号１５０を生成するための基準として、再構成ＳＤ信号１４０を用いるよう構成され得る。

一実施形態において、データストリーム１１５が備える情報は、レガシーデコーダ１３０により無視され、デコーダ１２０によりデコードされ、デコーダ１２０が、再構成ＳＤ信号１４０に基づき、再構成ＨＤ信号１５０を生成することを可能とする。非限定的な実施形態において、信号１５０の第２品質レベルは、任意の倍率で第１品質レベルの信号１４０の１または複数の空間次元をアップサンプリングすることにより得られる解像度を有する。

非限定的な例示的実施形態において、ＴＶセットトップボックスのデコード信号プロセッサは、データストリーム１１５がＭＰＥＧトランスポートストリームの形態で受信されたブロードキャスト信号に対応する、図１Ｂに示されている方法を実装するようプログラムされる。前に説明されているように、および以下にさらに説明されているように、データストリーム１１５は、レガシーデコーダ１３０によりデコードされて再構成ＳＤ信号１４０を生成するためのエンコードデータの複数の第１部分と、デコーダ１２０によるデコードのためのエンコードデータの複数の第２部分（拡張データ）とを含む。一実施形態において、拡張データは、再構成ＳＤ信号１４０に基づき、再構成ＨＤ信号１５０を生成するようデコーダ１２０により用いられる情報に対応する。一実施形態において、再構成ＨＤ信号１５０を生成するのに用いられるデータストリーム１１５におけるデータは、再構成ＳＤ信号１４０に対応するメインエレメンタリーストリーム（ｍａｉｎ ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）のパケット識別子（ＰＩＤ）とは異なるトランスポートストリームＰＩＤにより特徴付けられる。言い換えると、一実施形態において、レガシーデコーダ１３０によりデコードされて信号１４０を再生成するエンコードデータの複数の第１部分は、第１固有識別子値（第１ＰＩＤなど）によりタグ付けされ、デコーダ１２０によりデコードされて信号１５０を生成することになるエンコードデータの複数の第２部分は、第２固有識別子値（第２ＰＩＤなど）によりタグ付けされる。

複数の異なるタイプのデコーダデバイス（例えば、非限定的な例としてセットトップボックス）が、データストリーム１１５を受信するよう構成され得る。ネットワーク環境における１または複数のデコーダデバイスの第１セットは、レガシーデコーダ１３０のみを含み得る。そのような場合、データストリーム１１５を受信する複数のデコーダデバイスは、エンコードデータの複数の第１部分のみをデコードして、それぞれのディスプレイスクリーン上での表示のために再構成ＳＤ信号１４０を生成可能である。対応するコンピュータプロセッサハードウェアは、データストリームにおいて受信されたエンコードデータの複数の第１部分のみの、信号の第１表現へのデコードを開始する。言い換えると、エンコードデータの複数の第２部分は、レガシーデコーダ１３０により用いられない。コンピュータプロセッサハードウェア（例えば、セットトップボックス）はその後、ディスプレイスクリーン上での信号の第１表現の表示を開始する。したがって、複数のレガシーデコーダは、データストリーム１１５を受信し、より高い品質レベル（ＨＤ）ではなくＳＤなどのより低い品質レベルであったとしても信号の表現を表示することが依然として可能である。

デコーダ１２０を含むアップグレードされた複数のデコーダデバイスは、データストリーム１１５におけるエンコードデータの複数の第２部分に加えて、エンコードデータの複数の第１部分をデコードして再構成ＨＤ信号１５０を再生成する能力を有する。このやり方で、複数のレガシーセットトップボックス、およびそれぞれの複数のデコーダは、同じデータストリーム１１５を受信するが、単に拡張データ（エンコードデータの複数の第２部分）は無視し、第１品質レベルまでの信号（再構成ＳＤ信号１４０など）をデコードする。他の非限定的な複数の実施形態によると、エンコードデータの複数の第１部分とエンコードデータの複数の第２部分とを備えるハイブリッドマルチスケールデータストリームは、エンコードデータの複数の第２部分（拡張データ）がメタデータとして含められる適切なブルーレイ（登録商標）ビデオフォーマットに従ってブルーレイ（登録商標）ディスクに格納される。複数のレガシーブルーレイ（登録商標）デコーダは、拡張データを無視し、エンコードデータの複数の第１部分を、第１品質レベル（フルＨＤなど）のビデオ信号へとデコードする。アップグレードされた複数のＵｌｔｒａＨＤブルーレイ（登録商標）デコーダは、（より高い）第２品質レベル（ＵｌｔｒａＨＤなど）のビデオ信号をデコードする基準として第１品質レベルのビデオ信号を用いて、エンコードデータの複数の第１部分およびエンコードデータの複数の第２部分の両方をデコードする。

図１Ｃは、本明細書における複数の実施形態に係る、複数の拡張レイヤーを備えるマルチスケールエンコードおよびデコードシステムを図示する非限定的な例示的な図である。

示されているように、コンピュータプロセッサハードウェア１０６のこの例示的な実施は、デコーダ１３０と、デコーダ１２０と、デコーダ１２５とを含む。

この非限定的な例示的実施形態において、エンコーダ１１０は、最も高い品質レベル（ＵｌｔｒａＨＤｐ６０など）の元の信号１００を受信し、それをマルチスケールのデータストリーム１１５へとエンコードする。レガシーデコーダ１３０はデータストリーム１１５を受信し、第１品質レベル（インターレースされたＳＤ５７６ｉ６０など）の再構成ＳＤ信号１４０を生成する。デコーダ１２０はデータストリーム１１５を受信し、第１品質レベルより高い第２品質レベル（インターレースされたフルＨＤ１０８０ｉ６０など）の再構成ＨＤ信号１５０を生成する。デコーダ１２５はデータストリーム１１５を受信し、第２品質レベルより高い第３品質レベル（プログレッシブＵｌｔｒａＨＤｐ６０など）の再構成ＵｌｔｒａＨＤ信号１６０を生成する。

更なる非限定的な実施形態において、データストリーム１１５をデコードするために、レガシーデコーダ１３０は、ＭＰＥＧベースの複数のデコード技術（例えば、ＭＰＥＧ２、ｈ．２６４等）を活用する。他の非限定的な実施形態において、デコーダ１３０は再構成ＳＤ信号１４０を生成し、デコーダ１２０は再構成ＨＤ信号１５０を生成するための基準として信号１４０を用い、デコーダ１２５はその後、再構成ＵｌｔｒａＨＤ信号１６０を生成するための基準として再構成ＨＤ信号１５０を用いる。

データストリーム１１５が備える情報は、レガシーデコーダ１３０により無視され、デコーダ１２０によりデコードされ、デコーダ１２０が、再構成ＳＤ信号１４０に基づき、再構成ＨＤ信号１５０を生成することを可能とする。またデータストリーム１１５が備える情報は、デコーダ１２０により無視され、デコーダ１２５によりデコードされ、デコーダ１２５が、再構成ＨＤ信号１５０に基づき、再構成ＵｌｔｒａＨＤ信号１６０を生成することを可能とする。

このやり方で、受信されたデータストリーム１１５におけるエンコードデータの複数の異なる部分が、再構成されたより低い品質レベルの信号を、再構成されたより高い品質レベルの信号へと変換するのに用いられる。

より具体的には、コンピュータプロセッサハードウェア１０６はデータストリーム１１５におけるエンコードデータの複数の第１部分を利用して、再構成ＳＤ信号１４０を生成する。デコーダ１２０は、データストリーム１１５におけるエンコードデータの複数の第２部分をデコードする。コンピュータプロセッサハードウェア１０６は、デコードされた、エンコードデータの複数の第２部分を利用して、再構成ＳＤ信号１４０を再構成ＨＤ信号１５０へと変換する。またさらに、デコーダ１２５は、データストリーム１１５におけるエンコードデータの複数の第３部分をデコードする。コンピュータプロセッサハードウェア１０６は、エンコードデータのデコードされた複数の第３部分を利用して、再構成ＨＤ信号１５０を、再構成ウルトラＨＤ信号１６０へと変換する。

いくつかの非限定的な実施形態によると、データストリーム１１５におけるエンコードデータの複数の第２部分は、再構成ＳＤ信号１４０に少なくとも部分的に基づきコンピュータプロセッサハードウェア１０６によりデコードされ、データストリーム１１５におけるエンコードデータの複数の第３部分は、再構成ＨＤ信号１５０に少なくとも部分的に基づきコンピュータプロセッサハードウェア１０６によりデコードされる。

非限定的な実施形態において、最初に、再構成ＨＤ信号１５０を第１残余セットと組み合わせ、その後、２または他の適切な値であるバーティカルファクタにより信号をアップサンプリングし（インターレースされたＨＤをプログレッシブＨＤとし）、その後、生成された信号を第２残余セットと組み合わせ、その後、両方の空間次元に関して２である倍率によりアップサンプリングし（第３品質レベルの信号の予測または予備表現を生成し）、最後に、第３品質レベルの信号の予測表現を第３残余セットと組み合わせることにより、デコーダ１２５は第３品質レベルを生成する。

非限定的な例示的実施形態において、ＴＶセットトップボックスのデコード信号プロセッサは、ＩＳＯ／ＩＥＣ １３８１８−１およびＥＴＳＩ ＥＮ ５００８３−９に係るＭＰＥＧトランスポートストリームの形態で受信されたブロードキャスト信号にデータストリーム１１５が対応する、図１Ｃに示されているデコードの方法を実装するようプログラムされる。再構成ＳＤ信号１４０に基づき、再構成ＨＤ信号１５０および再構成ＵｌｔｒａＨＤ１６０を生成するために、デコーダ１２０およびデコーダ１２５により用いられる情報に対応する拡張データ（エンコードデータの複数の第２部分およびエンコードデータの複数の第３部分等など）は、再構成ＳＤ信号１４０を生成するのに用いられるメインエレメンタリーストリーム（ＭＰＥＧエンコードデータなどエンコードデータの複数の第１部分）のトランスポートストリームパケット識別子（ＰＩＤ）とは異なる固有のＰＩＤによりそれぞれ特徴付けられる。このやり方で、レガシーセットトップボックスの（レガシーＭＰＥＧフォーマットによりエンコードされたデータをデコードするレガシーデコーダ１３０のみを含む）複数のデコーダは、同じデータストリーム１１５を受信するが、単に拡張データを無視し、第１品質レベル（ＳＤ品質レベル）までの信号をデコードする。

図１Ｃにおけるさらに追加の複数の実施形態によると、コンピュータプロセッサハードウェア１０６は、複数のタグを用いて、データストリーム１１５を、エンコードデータの複数の第１部分（第１タグ値によりタグ付けされたデータ）、エンコードデータの複数の第２部分（第２タグ値によりタグ付けされたデータ）、およびエンコードデータの複数の第３部分（第３タグ値によりタグ付けされたデータ）へとパースする。

コンピュータプロセッサハードウェア１０６は第１デコーダ１３０を実装して、エンコードデータの複数の第１部分を第１品質レベルの信号（再構成ＳＤ信号１４０など）の第１表現へとデコードする。コンピュータプロセッサハードウェア１０６は第２デコーダ１２０を実装して、エンコードデータの複数の第２部分を第１再構成データへとデコードする。第１再構成データは、信号１４０の第１表現を第２品質レベルの信号１５０の第２表現へとどのように変更するかを指定する。第２品質レベルは、第１品質レベルより高い。言い換えると第２品質レベルの信号は、信号の複数の表現が導出される元の信号により近い。コンピュータプロセッサハードウェア１０６は、第１再構成データと信号１４０の第１表現とを処理して、（より高い）第２品質レベルの信号１５０の第２表現を生成する。

一実施形態において、コンピュータプロセッサハードウェア１０６は第３デコーダ１２５を実装して、データストリーム１１５におけるエンコードデータの複数の第３部分を第２再構成データへとデコードする。第２再構成データは、信号１５０の第２表現を、第３品質レベルの信号１６０の第３表現へとどのように変更するかを指定する。第３品質レベルは第２品質レベルより高い。コンピュータプロセッサハードウェア１０６は第２再構成データと信号１５０の第２表現とを処理して、第３品質レベルの信号１６０の第３表現を生成する。

更なる非限定的な例によると、エンコードデータの複数の第１部分は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットに従ってデコードされ得る。第１再構成データは、データストリーム１１５におけるエンコードデータの複数の第２部分から導出され得る。第２再構成データは、データストリーム１１５におけるエンコードデータの複数の第３部分から導出され得る。データストリームにおけるエンコードデータの複数の第２部分およびエンコードデータの複数の第３部分の両方は、異なる複数のエンコードフォーマット、非限定的な例として複数の階層的圧縮データエンコードフォーマットなどに従って、それぞれの再構成データへとデコードされ得る。

図１Ｄは、本明細書における複数の実施形態に係る、拡張メタデータによるディスプレイデバイスへのマルチスケール上位互換送信を図示する非限定的な例示的な図である。

この例示的実施形態において、コンピュータプロセッサハードウェア１０６は、有効化されたデコーダおよびディスプレイデバイス１２１、並びにレガシーデコーダおよびディスプレイデバイス１３１を含む。

送信デバイス１１１は、最も高い品質レベル（ＵｌｔｒａＨＤｐ１２０など）の元の信号１００を受信し、任意の送信フォーマット（非限定的な例として、ＨＤＭＩ（登録商標）ケーブルなどのリンク上での送信のためのＨＤＭＩ（登録商標）フォーマットなど）に従ってマルチスケールのデータストリーム１１５を生成する。レガシーデコーダおよびディスプレイデバイス１３１はデータストリーム１１５を受信し、第１品質レベル（ＵｌｔｒａＨＤｐ６０など）の再構成信号１４１を生成する。有効化されたデコーダおよびディスプレイデバイス１２１はデータストリーム１１５を受信し、第１品質レベルより高い第２品質レベル（ＵｌｔｒａＨＤｐ１２０など）の再構成信号１５１を生成する。

非限定的な実施形態において、第１品質レベルのデータ（非圧縮データなど）は、複数のレガシーデバイスと互換性のある標準的な送信フォーマット（ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ、またはＤＶＩなど）に従って非圧縮ビデオデータとしてデータストリーム１１６において送信される。データストリーム１１６において送信される圧縮データなどの拡張データは、エンコードメタデータとして送信され、第１品質レベルの再構成信号１４１に基づき第２品質レベルの再構成信号１５１を生成するために、有効化されたデコーダおよびディスプレイデバイス１２１によりデコードされる。

非限定的な例示的実施形態において、ＴＶセットのデコード信号プロセッサは、データストリーム１１６が受信ＨＤＭＩ（登録商標）信号に対応する、図１Ｄにおいて示されている方法を実装するようプログラムされる。圧縮データなどのストリーム１１６における拡張データは、再構成信号１４１を基準として用いて再構成信号１５１を生成するのにデコーダ１２１により用いられる情報である。非限定的な一実施形態において、拡張データは、ＨＤＭＩ（登録商標）送信の水平方向のブランキング期間において複数のＩｓｌａｎｄ Ｐａｃｋｅｔとして送信される（オーディオデータもブランキング期間を用いるが、ブランキング期間の大部分は、拡張データのために利用可能である）。他の非限定的な複数の実施形態において、拡張データ（再構成信号１４１を再構成信号１５１へと変換するためのデータストリーム１１６における追加の圧縮データ）の送信は、Ｖｅｎｄｏｒ−Ｓｐｅｃｉｆｉｃ ＩｎｆｏＦｒａｍｅ（ＶＳＩ）を介したＨＤＭＩ（登録商標）メタデータ送信を活用する。他の非限定的な複数の実施形態において、送信はＤｉｓｐｌａｙＰｏｒｔケーブルを活用し、拡張データは、ＤｉｓｐｌａｙＰｏｒｔフォーマットのメタデータとして送信される。

拡張データ（階層的な圧縮拡張データなど）をエンコードメタデータとして送信することにより、メタデータを解釈出来ない複数のレガシーディスプレイデバイスは同じデータストリーム１１６を受信するが、単に拡張データを無視し、第１品質レベルの信号１４１を表示する。このやり方で、例えば、この方法を採用するゲームコンソールはＨＤＭＩ（登録商標）（またはＤｉｓｐｌａｙＰｏｒｔ）を介し、（画像１４１−１、画像１４１−２、・・・を含む）信号１４１を再生成するの必要とされる従来の（非圧縮の）送信フォーマットを単に採用した場合に可能であるであろうより高い解像度および／またはより高いフレームレートのビデオ信号を送信し得る。受信側の有効化されていない複数のディスプレイデバイスは単に第１品質レベルの信号１４１をデコードし、表示し、他方、複数の有効化されたディスプレイデバイスおよびデコーダは、追加の拡張データ（圧縮データ）もデコードし、１または複数のより高い品質レベルの信号の表現を再構成することが出来る。

図１Ｅは、本明細書における複数の実施形態に係る、それぞれのデータストリームを処理するコンピュータプロセッサハードウェアを図示する例示的な図である。

示されているように、データストリーム１１５は、エンコードデータの複数の第１部分１８１（第１圧縮データ）とエンコードデータの複数の第２部分１８２（第２圧縮データ）とを含む。一実施形態において、データストリーム１１５は、第１パケット識別子（ＰＩＤ＃１）によりタグ付けされたデータの複数の第１部分１８１と、第２パケット識別子（ＰＩＤ＃２）によりタグ付けされたデータの複数の第２部分１８２とを含むＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）トランスポートストリームとして受信される。

示されているように、エンコードデータの複数の第１部分１８１は、データストリーム１１５におけるエンコードデータの複数の第２部分１８２の間にインターリーブされる。

エンコードデータの複数の第１部分１８１は、エンコードデータの第１部分１８１−１、エンコードデータの第１部分１８１−２などを含む。前に説明されているようにエンコードデータの複数の第１部分１８１のそれぞれは、そのようなデータがデコーダ１３０によりデコードされることになることを示す対応する第１の固有タグ付け値（トランスポートストリームにおけるＰＩＤの数など）によりタグ付けされる。

エンコードデータの複数の第２部分１８２は、エンコードデータの第２部分１８２−１、エンコードデータの第２部分１８２−２などを含む。エンコードデータの複数の第２部分１８２のそれぞれは、そのようなデータがデコーダ１２０によりデコードされることになることを示す対応する第２の固有タグ付け値によりタグ付けされる。

コンピュータプロセッサハードウェア１０６はパーサーロジック１７６を含む。その名前が示唆するように、パーサーロジック１７６は、受信されたデータストリーム１１５を、デコーダ１３０によりデコードされることになるデータの複数の部分（圧縮されたＭＰＥＧデータなど）、およびデコーダ１２０によりデコードされることになるデータの複数の部分（圧縮された階層的エンコードデータなど）へとパースする。一実施形態において、パーサーロジック１７６は、データストリーム１１５における複数のタグを利用して、データの複数の第１部分１８１とデータの複数の第２部分１８２とを特定する。

更なる複数の実施形態によると、データストリーム１１５は、エンコードデータの複数の第１部分とエンコードデータの複数の第２部分との間の対応する複数の再生タイミング関連性を示すタイミング情報を含む。本例示的実施形態において、データストリーム１１５におけるタイミング情報は、エンコードデータの一部１８１−１とエンコードデータの一部１８２−１との間のタイミング関連性１８３−１を示し、データストリーム１１５におけるタイミング情報は、エンコードデータの一部１８１−２とのエンコードデータの一部１８２−２との間のタイミング関連性１８３−２を示す、などである。

更なる非限定的な例示的実施形態によると、コンピュータプロセッサハードウェア１０６は、エンコードデータの複数の第１部分１８１とエンコードデータの複数の第２部分１８２との間の複数のタイミング関連性を特定する。複数のタイミング関連性および情報は、再構成データ１８４（残余データなど）が信号の第１表現１４６−１における複数の表示要素の複数のフレームまたは画像のうちどれに関連するかを示す。

コンピュータ処理ハードウェア１０６は第１デコーダ１３０を実装して、エンコードデータの複数の第１部分１８１を信号の第１表現１４６−１へとデコードする。

さらに示されているように、コンピュータプロセッサハードウェア１０６は第２デコーダ１２０を実装して、エンコードデータの複数の第２部分１８２をそれぞれの再構成データ１８４へとデコードする。非限定的な実施形態によると、再構成データ１８４の一部は、信号の第１表現１４６−１にも少なくとも部分的に基づきエンコードデータ１８２からデコードされる。コンピュータプロセッサハードウェア１０６は、エンコードデータの複数の第２部分１８２に対して更なる複数のデコード処理を実行する、変更ロジック１７８−１、アップサンプリングロジック１７９−１、変更ロジック１７８−２等をさらに含む。したがって、変更ロジック１７８−１、アップサンプリングロジック１７９−１、変更ロジック１７８−２等は、第２デコーダ１２０の一部として見なされ得る。変更ロジック１７８−１、アップサンプリングロジック１７９−１、変更ロジック１７０−２等により実行される複数の機能はさらに以下に説明されている。

概して、再構成データ１８４は、信号の第１表現１４６−１（複数のフレームまたはフィールドを含むビデオ信号など）をより高い品質レベルの（同じ、または異なる解像度の）信号にどのように変更するかを指定する。

一実施形態において、デコーダ１３０は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）デコード方法に従ってエンコードデータの複数の第１部分１８１をデコードする。デコーダ１２０は、階層的エンコードフォーマットに従ってエンコードデータの複数の第２部分１８２をデコード（展開）して再構成データ１８４を生成する。

更なる非限定的な例によると、信号の表現１４６−１は、エンコードデータの複数の第１部分１８１から導出される標準解像度のＳＤ信号であり得る。本明細書において説明されているように、コンピュータプロセッサハードウェア１０６は、再構成データ１８４を信号の第１表現１４６−１に適用して、信号の第２表現（同じ、または異なる解像度のより高い品質レベル）を生成する。前に説明されているように、複数の再構成信号は、ビデオの、複数の表示要素をそれぞれが含む複数の画像またはフレームを含み得る。

コンピュータプロセッサハードウェア１０６は変更ロジック１７８−１を実装して、信号の表現１４６−１を、（より高い品質レベルを有する）信号の表現１４６−２へと変換する。一実施形態において、変更ロジック１７８−１は再構成データ１８４の一部を利用して、より高い品質レベルの信号の表現１４６−２を生成する。再構成データ１８４（残余データなど）は、信号の表現１４６−２を生成するために、信号の表現１４６−１における１または複数の表示要素または画像に加えられることになる複数の変更（修正など）を示す。言及されているように、信号の第２表現１４６−２は、信号の第１表現１４６−１と同じ表示要素解像度（同じ空間解像度および同じフレームレートなど）を有し得る。

更なる非限定的な例示的な実施形態によると、再構成データを信号の第１表現１４６−１（信号の予備表現など）に適用して信号の第２表現１４６−２を生成することは、上記にて説明されたように特定されたタイミング関連性に従って、再構成データ１８４を利用して信号の第１表現を、複数の表示要素のフレームを信号の第１表現より多く含む信号の第２表現１４６−２へと時間的にアップサンプリングすることを含み得る。

更なる例として、信号の第１表現１４６−１は、１秒当たり複数のサンプルの６０フレームを含み得、信号の第２表現１４６−２は１秒当たり１２０フレームを含み得、信号の第１表現１４６−１は１秒当たり１２０フレームを含み得、信号の第２表現１４６−２は１秒当たり２４０フレームを含み得る、などである。そのような実施形態において、時間的なアップサンプリングを達成するべく、コンピュータプロセッサハードウェアは、（第１フレームレートなどの）信号の第１表現１４６−１に基づき、および再構成データ１８４により指定されるように第２フレームレートの信号の予備表現を生成し、再構成データ１８４により指定されるように残余データセットを生成し、残余データセットを第２フレームレートの信号の予備表現に適用して、信号の第２表現１４６−２を生成するよう構成され得る。したがって、変更ロジック１７８−１は、再構成データ１８４により指定されるように、（信号をより高いフレームレートに高める）複数の時間的アップサンプリング処理に加えて、残余データを用いて複数の修正を実行するよう構成され得る。

更なる複数の実施形態によると、信号の表現１４６−２は、信号の表現１４６−１における１秒当たりのフレーム数と同じ１秒当たりのフレーム数を有し得ることに留意されたい。例えば、信号の第１表現１４６−１は１秒当たり６０フレームを含み得、変更ロジック１７８−１により生成される信号の第２表現１４６−２はより高い品質レベルを有し得、同じく１秒当たり６０フレームを含み得、信号の第１表現１４６−１は１秒当たり１２０フレームを含み得、信号の第２表現１４６−２は、より高い品質レベルを有し得、１秒当たり１２０フレームを含み得る、などである。

コンピュータ処理ハードウェア１０６は、アップサンプリングロジック１７９−１をさらに含む。再構成データ１８４により指定される複数の設定に従って、アップサンプリングロジック１７９−１は、信号１４６−２の、信号の表現１４６−３へのアップサンプリングを実行する。一実施形態において、アップサンプリングロジック１７９−１により実行される複数のアップサンプリング処理は、信号の表現１４６−２の、信号のより高い解像度の表現１４６−３への変換を含む。言い換えると、信号の表現１４６−２はＳＤ信号であり得る。アップサンプリングロジック１７９−１により適用される複数のアップサンプリング処理は、信号１４６−２におけるより低い解像度の複数の表示要素設定を、信号１４６−３における、対応するより高い解像度の複数の表示要素設定へ変換するよう構成され得る。このことは、以下により詳細に説明されている。

更なる複数の実施形態によると、第２デコーダ１２０および関連するロジックを実装してエンコードデータの複数の第２部分１８２をデコードすることは、再構成データ１８４を利用して、複数のアップサンプリング処理を特定することと、アップサンプリングロジック１７９−１を介し、特定された複数のアップサンプリング処理を信号の第２表現１４６−２に適用して、信号の第２表現１４６−２の表示要素解像度より実質的に高い表示要素解像度を有する信号の第３表現１４６−３を生成することとを含み得る。 （再構成データ１８４を生成するのに用いられる）エンコードデータの複数の第２部分１８２により指定される複数のアップサンプリング処理を特定することは、アップサンプリングカーネルの特定の複数の係数に対応する複数のパラメータをデコードすることと、デコードされた複数のパラメータに少なくとも部分的に基づき、信号の第３表現１４６−３の一部に対応するアップサンプリングカーネルを生成することと、信号の第３表現１４６−３の一部を生成するために、アップサンプリングカーネルを信号の第２表現１４６−２の一部に適用することとを含み得る。

信号の表現１４６−３は、修正を必要とする予備ＨＤ信号であり得る。

コンピュータプロセッサハードウェア１０６は変更ロジック１７８−２をさらに含む。一実施形態において、変更ロジック１７８−２は再構成データ１８４の一部を利用して、信号の表現１４６−４を生成する。例えば、再構成データ１８４は、信号の表現１４６−４を生成するために、信号の表現１４６−３における１または複数の表示要素に加えられることになる複数の変更（修正など）を示す。変更ロジック１７８−２は、再構成データ１８４を信号１４６−３に適用して、適した複数の表示要素設定を修正する。前に説明されたのと同様のやり方で、変更ロジック１７８は、時間的アップサンプリングを実行するようにも構成され得る。したがって、信号１４６−４は、信号１４６−３より多くの、単位時間当たりの再生フレーム画像を含み得る。

この（空間的および／または時間的に）アップサンプリングし、その後変更を加える処理は、任意の数のレベルで繰り返され得る。したがって、ＨＤ信号などのための信号の表現１４０は、それぞれのディスプレイスクリーン上での再生のために、対応するウルトラＨＤ信号へとアップサンプリングされ、修正され得る。

また更なる複数の実施形態によると、コンピュータプロセッサハードウェア１０６は第２デコーダ１２０および関連する複数の構成要素を実装して、エンコードデータの複数の第２部分１８２をデコードする。このことは、エンコードデータの複数の第２部分１８２により指定されるように第１品質レベルの第１残余データセットをデコードすることと、第１残余データセット（再構成データ１８４の一部）を利用して、信号の第１表現１４６−１を変更し、信号の第２表現１４６−２を生成することと、信号の第２表現１４６−２に少なくとも部分的に基づき、信号の第２表現１４６−２の解像度（ＳＤ解像度）より高い解像度（ＨＤ解像度など）を有する信号の第３表現１４６−３を生成することと、エンコードデータの複数の第２部分１８２により指定されるように第２品質レベルの第２残余データセット（再構成データ１８４）をデコードすることと、第２残余データセットを利用して、信号の第３表現１４６−３を変更し、信号の第４表現１４６−４を生成することとを含み得る。さらに所望される場合、コンピュータプロセッサハードウェアは、信号の第４表現１４６−４に基づき、信号の第４表現１４６−４の解像度より高い解像度（プログレッシブフルＨＤ解像度、Ｕｌｔｒａ ＨＤ解像度等など）を有する信号の第５表現を生成し、エンコードデータの複数の第２部分１８２により指定されるように第３品質レベルの第３残余データセット（再構成データ１８４）をデコードし、第３残余データセットを利用して、信号の第５表現を変更し、信号（修正されたＵｌｔｒａ ＨＤ解像度信号など）の第６表現を生成するよう構成され得る。一実施形態において、信号の第１表現はインターレースされたビデオ信号であり、信号の第６表現はプログレッシブビデオ信号である。既に言及されたように、より高い品質レベルへと変更し、信号の予備的なアップサンプリング表現へとアップサンプリングし、その後、次に高い品質レベルの信号の表現へと変更する処理は、特定の非限定的な実施形態に基づき任意の回数繰り返され得る。

前に図１Ｄに関連して説明されたように、送信デバイス１１１は、それぞれのデータストリーム１１６を対応するコンピュータプロセッサハードウェア１０７に送信するよう構成され得る。図１Ｆは、本明細書における複数の実施形態に係るそれぞれのデータストリーム１１６を処理するコンピュータプロセッサハードウェア１０７を図示する例示的な図である。

示されているように、データストリーム１１６は、デコードデータ１９１の複数のセグメント（デコードデータ１９１−１、デコードデータ１９１−２、・・・）を含む。データストリーム１１６は、エンコードデータ１９２の複数のセグメント（エンコードデータ１９２−１、エンコードデータ１９２−２、・・・）も含む。

非限定的な一実施形態において、デコードデータ１９１は非圧縮データである。エンコードデータ１９２は圧縮データ（階層的エンコードフォーマットに従って圧縮されたデータなど）である。データストリーム１１６は、エンコードデータ１９２が圧縮ビデオデータであり、デコードデータが非圧縮ビデオデータであるＨＤＭＩ（登録商標）信号であり得る。他の実施形態によると、データストリーム１１６は、エンコードデータ１９２が圧縮ビデオデータであり、デコードデータが非圧縮ビデオデータであるＤｉｓｐｌａｙＰｏｒｔインタフェースである。

さらに示されているように、コンピュータ処理ハードウェア１０７はパーサーロジック１９６を含む。その名前が示唆するように、パーサーロジック１９６は、データストリーム１６０において受信されたデータをデコードデータ１９１およびエンコードデータ１９２へとパースする。デコードデータ（ＨＤＭＩ（登録商標）送信フォーマットに従ってフォーマット化されたデータなど）は、信号の第１表現１４６−１を再構成する複数の設定を指定する。デコードデータ１９１を介し、コンピュータプロセッサハードウェア１０７は信号の第１表現１４６−１を生成する。一実施形態において、信号は、複数の表示要素に関する複数の設定を指定するビデオ信号である。

コンピュータプロセッサハードウェア１０７はデコーダ１２０を含む。コンピュータプロセッサハードウェア１０７は、全てがデコーダ１２０の一部であると見なされ得る、またはそれと関連付けられ得る変更ロジック１９８−１、アップサンプリングロジック１９９−１、変更ロジック１９８−２等などの追加のロジックを含む。

コンピュータプロセッサハードウェア１０７はデコーダ１２０−１を実装して、エンコードデータ１９２をそれぞれの再構成データ１８４へとデコードする。非限定的な実施形態によると、再構成データ１８４の一部は、信号の第１表現１４６−１にも少なくとも部分的に基づきエンコードデータ１９２からデコードされる。再構成データ１８４は、信号の第１表現１４６−１をどのように変更するかを指定する。一実施形態において、コンピュータプロセッサハードウェア１０７は、階層的エンコードフォーマットに従ったデコードを介し、エンコードデータ１９２を再構成データ１８４へとデコードする。本明細書にさらに説明されているように、エンコードデータ１９２は、データが階層における異なる複数の解像度（空間および／または時間）に従ってエンコードされる階層的エンコードフォーマットに従ってエンコードされ得る。本明細書における複数の実施形態は、１または複数のアップサンプリング処理を適用して、再構成データ１８４における残余データを生成することをさらに含み得る。複数のアップサンプリング処理は、より低い解像度の複数の表示要素設定をより高い解像度の複数の表示要素設定に変換する。

変更ロジック１９８−１を介し、コンピュータプロセッサハードウェア１０７は再構成データ１８４の一部（残余データの一部など）を信号の第１表現１４６−１に適用して、信号の第２表現１４６−２を生成する。信号の第２表現１４６−２は、信号の第１表現１４６−１より高い品質レベルを有する。一実施形態において、信号の第２表現１４６−２は、信号の第１表現１４６−１と同じ表示要素解像度（ＳＤなど）を有する。更なる非限定的な例によると、再構成データ１８４を用いて、変更ロジック１９８−１は、信号の表現１４６−１における複数の表示要素の特定の複数の設定を修正して、信号の表現１４６−２を生成する。

前に説明されているように、コンピュータプロセッサハードウェア１０７はアップサンプリングロジック１９９−１をさらに含む。コンピュータプロセッサハードウェア１０７は、（エンコードデータ１９２から導出される）再構成データ１８４により指定される１または複数のアップサンプリング処理を特定する。アップサンプリングロジック１９９−１は、特定された複数のアップサンプリング処理を信号の第２表現１４６−２に適用して、信号の第３表現１４６−３を生成する。一実施形態において、信号の第３表現１４６−３は、信号の第２表現１４６−２より実質的に高い表示要素解像度を有する。例として、信号の第２表現１４６−２は、ＳＤ解像度のビデオ信号であり得、信号の第３表現１４６−３は、予備ＨＤ解像度のビデオ信号であり得る。

更なる複数の実施形態によると、信号の第３表現１４６−３は、信号の表現１４６−２より実質的に高い表示要素解像度の信号の予備表現である。コンピュータプロセッサハードウェアは変更ロジック１９８−２をさらに含む。示されているように、変更ロジック１９８−２は再構成データ１８４（残余データなど）の一部を利用して、信号の予備表現１４６−３を、信号の表現１４６−４へと変更する。信号の表現１４６−４（信号の変更された予備表現１４６−３）は、ＨＤ解像度の信号の予備表現１４６−３より高い品質レベルを有する。前に説明されたのと同様のやり方で、コンピュータプロセッサハードウェア１０７は、アップサンプリングし、任意の望ましいレベルの解像度（空間および／または時間）に変更する処理を繰り返し得る。

他の非限定的な複数の実施形態によると、信号の第４表現は、信号の第１表現より高いフレームレートを有し、複数のアップサンプリング処理は、複数の適切な時間的アップサンプリング処理を備える。

図１Ｇは、本明細書における複数の実施形態に係る処理を図示する例示的な図である。

示されているように、コンピュータプロセッサハードウェア１０６は、エンコードデータの複数の第１部分１８１を利用して、画像またはフレームＦＲ１、ＦＲ２、ＦＲ３等を含む信号の表現１４６−１を生成する。コンピュータプロセッサハードウェア１０６はデコーダ１２０を実装して、エンコードデータの複数の第２部分１８２から、残余データ１８４−１、１８４−２などを生成する。

残余データ１８４−１の、信号の第１表現１４６−１におけるフレームＦＲ１、ＦＲ２、ＦＲ３等への適用を介し、コンピュータプロセッサハードウェア１０６は、画像またはフレームＦＲ１'、ＦＲ１．５'、ＦＲ２'、ＦＲ２．５'、ＦＲ３'等を含む（第２フレームレートの）信号の予備表現を生成する。示されているように、信号のこの予備表現は、信号の表現１４６−１が有するよりも多くのフレームを含む。他の非限定的な複数の実施形態において、予備表現は、信号の表現１４６−１が有するフレームと同じ数のフレームを含む。

コンピュータプロセッサハードウェア１０６はさらに、残余データ１８４−２を用いて、フレームＦＲ１'、ＦＲ１．５'、ＦＲ２'、ＦＲ２．５'、ＦＲ３'等を含む信号の予備表現を、フレームＦＲ１''、ＦＲ１．５''、ＦＲ２''、ＦＲ２．５''、ＦＲ３''等を含む信号の表現１４６−２へと変更する。信号の表現１４６−２は、フレームＦＲ１'、ＦＲ１．５'、ＦＲ２'、ＦＲ２．５'、ＦＲ３'等を含む信号の予備表現より高い品質レベルを有する。

一実施形態において、それぞれの残余データセットは、信号の複数のフレームに亘る時間的継承に従って生成される。例えば、コンピュータプロセッサハードウェアは、信号の任意のフレームに関する残余データ（フレームＦＲ２からフレームＦＲ２'を生成するための残余データなど）を、異なるフレームに関してデコードされた残余データ（フレームＦＲ１をフレームＦＲ１'へと変換するのに用いられる残余データなど）に少なくとも部分的に基づきデコードするよう構成され得る。いくつかの非限定的な実施形態によると、時間的継承は、次のように（図１Ｆにおける時間的継承の「方法１」）任意のフレームに関して残余データをデコードすることにより実施される。任意のフレームに関する予備残余データをデコードし、（再構成データ１８４により示されるように）残余データの一部に関し、任意のフレームに関する予備残余データを基準フレームの残余データと組み合わせ、任意のフレームに関する残余データを生成する。他の非限定的な複数の実施形態によると、時間的継承は、次のように（図１Ｆにおける時間的継承の「方法２」）任意のフレームに関する残余データをデコードすることにより実施される。複数のフレームのシーケンスに関する第１基本残余データをデコードし、基本残余データを相対的な残余データと組み合わせ、任意のフレームに関する残余データを生成する。いくつかの実施形態において、第１基本残余データは、相対的な残余データを、より高いレベルの集約である第２基本残余データと組み合わせることによっても生成される。

図１Ｈは、本明細書における複数の実施形態に係る処理を図示する例示的な図である。

示されているように、コンピュータプロセッサハードウェア１０６はエンコードデータの複数の第１部分１８１を利用して、画像またはフレームＦＲ１、ＦＲ２、ＦＲ３、ＦＲ４等を含む信号の表現１４６−１を生成する。コンピュータプロセッサハードウェア１０６はデコーダ１２０を実装して、エンコードデータの複数の第２部分１８２から、第１セットの基本残余データ１８４−Ｂ１、１８４−Ｂ２などを生成する。

一実施形態において、再構成データ１８４は、複数の表示要素解像度に従ってエンコードされた残余データの階層を含む。第２デコーダ１２０（または他の適切なリソース）は、複数のアップサンプリング処理をエンコードデータの複数の第２部分（または再構成データ１８４）に適用して、基本残余データ１８４−Ｂ１（複数のタイムサンプルでの適用のための残余データを再生成するルーツデータ）から導出される残余データの階層１６７−１を再生成する。言い換えると、再構成データ１８４は、複数の要素解像度に従ってエンコードされた残余データの階層１６７−１であり得、またはそれを含み得る（階層１６７−１において複数のより低いレベルは、空間および／または時間解像度がより低く、階層１６７−１における複数のより高いレベルは、より高い空間および／または時間解像度のものである）。一実施形態において、第２デコーダ１２０は複数のアップサンプリング処理をエンコードデータの複数の第２部分１８２に適用して、残余データの階層１６７−１を再生成する。

更なる複数の実施形態によるとコンピュータプロセッサハードウェアは、信号における複数の表示要素の複数のフレームに亘る複数の残余の時間的継承に従って階層１６７−１を生成する。示されているように、残余データの階層の任意のより高いレベルで、コンピュータプロセッサハードウェアは、信号の複数のタイムサンプルに関する残余データを再生成するための基準としての役割を担う残余データ基本セット（階層１６７−１におけるより低い残余データなど）に少なくとも部分的に基づき、第１フレームに関する残余データ（残余データ１８５−１など）をデコードする。残余データ基本セットは時間的にアップサンプリングされ、その後、より高い時間解像度の残余データを生成するために、（再構成データ１８４により指定されるように再生成される）相対的な残余データと組み合わせられる。時間的継承が基本残余データの任意の一部に関して（適切な時間的継承シンボルによってなど）指定されたとき、残余データ基本セットの対応する部分は、それを何らかの追加の残余データと組み合わせることなく（すなわち、再構成データ１８４からの何らかの追加の情報をデコードすることなく）信号の複数のタイムサンプルに関する残余データへと拡張される。言い換えると、基本再構成データ１８４−Ｂ１の一部は、複数のタイミングに亘って拡張されて、信号の複数のタイムサンプル（画像またはフレームなど）に関してそれぞれの残余データ１８５−１、１８５−２等の一部を生成する。

時間的継承に加えて、またはその代替として、残余データの階層１８５は、信号における複数の表示要素の任意のフレーム内の複数の残余の空間的継承に従って生成され得る。そのような場合、任意の画像またはフレームに関する残余データは、次のように一連の処理により、異なる複数の空間解像度の残余データの階層としてエンコードされる。階層における任意の品質レベルの残余データをデコードし、残余データをアップサンプリングし、次に高い解像度で予備残余データを生成し、当該次に高い解像度に関する相対的な残余データをデコードし、相対的な残余データを予備残余データに適用し、階層において次に高い品質レベルの残余データを生成する。相対的な残余データは、信号の各タイムサンプルに関して独立して、または複数のレベルの集約性の時間的階層に従ってデコードされ得る。残余データの階層における任意の品質レベルで、コンピュータプロセッサハードウェアは、残余データの階層におけるより低い品質レベルに関してデコードされた再構成データのみに基づき、任意のフレームの一部に関する残余データをデコードする。言い換えると、残余データの一部に関し、再構成データ１８４が、空間的継承シンボルと共に低い（空間的）品質レベルの情報を指定し、デコーダは、再構成データからの何らかの追加の情報なしでより高い品質レベルの残余データの対応する部分を再構成することが出来る。他の非限定的な複数の実施形態によると、残余データの一部に関し、再構成データ１８４が、時間的継承シンボルと共に低い（空間的）品質レベルの情報を指定し、デコーダは、基準として残余データ基準セットを用い、より高い品質レベルの残余データの対応する部分を再構成する。

コンピュータプロセッサハードウェア１０６は、第１セットの基本残余データ１８４−Ｂ１を利用して、（タイムサンプル＃１に関する）残余データ１８５−１、（タイムサンプル＃２に関する）残余データ１８５−２、（タイムサンプル＃３に関する）残余データ１８５−３等を再生成する。

さらに示されるように、コンピュータプロセッサハードウェアは第１残余データセット１８５−１を利用して、フレームＦＲ１をフレームＦＲ１'へと変更および変換し、コンピュータプロセッサハードウェアは第２残余データセット１８５−２を利用して、フレームＦＲ２をフレームＦＲ２'へと変更および変換し、コンピュータプロセッサハードウェアは第３残余データセット１８５−３を利用して、フレームＦＲ３をフレームＦＲ３'へと変更および変換する、などである。本例示的実施形態における信号の表現１４６−２（解像度＃１）は、信号の表現１４６−１（解像度＃１）における複数のフレームから導出されるフレームＦＲ１'、ＦＲ２'、ＦＲ３'、ＦＲ４'等を含む。

コンピュータプロセッサハードウェア１０６は再構成データ１８４により指定される複数のアップサンプリング処理を実行して、信号の表現１４６−２を信号の表現１４６−３へとアップサンプリングする。例えば、アップサンプリングロジック１８８−１は、フレームＦＲ１'における複数の表示要素をフレームＦＲ１''へと空間的にアップサンプリングし、アップサンプリングロジック１８８−２は、フレームＦＲ２'における複数の表示要素をフレームＦＲ２''へと空間的にアップサンプリングし、アップサンプリングロジック１８８−３は、フレームＦＲ３'における複数の表示要素をフレームＦＲ３''へと空間的にアップサンプリングする、などである。アップサンプリングは、信号の低い解像度の表現１４６−２を、信号のより高い解像度の表現１４６−３へと変換することを含み得る。

したがって、本明細書における複数の実施形態は、残余データ１８６を、信号の第３表現１４６−３における複数の表示要素に適用して、信号の第４表現１４６−４を生成することを含み、適用される残余データ１８６は、信号の第３表現１４６−３における複数の表示要素の複数の設定を変更して、信号の第４表現１４６−４における対応する複数の表示要素のための複数の設定を生成する。本例示的実施形態において信号の表現１４６−３（解像度＃２）は、フレームＦＲ１''、ＦＲ２''、ＦＲ３''、ＦＲ４''等を含む。

さらに示されているように、コンピュータプロセッサハードウェア１０６はデコーダ１２０また関連するロジックを実装して、エンコードデータの複数の第２部分１８２から第２基本残余データセット１８４−Ｂ２を生成する。コンピュータプロセッサハードウェア１０６が、階層１６７−２におけるアップサンプリングを介し基本残余データ１８４−Ｂ１から複数の残余データセット１８５を導出するのと同様のやり方で、コンピュータプロセッサハードウェア１０６は、第２基本残余データセット１８４−Ｂ２を利用して、（タイムサンプル＃１に関する）残余データ１８６−１、（タイムサンプル＃２に関する）残余データ１８６−２、（タイムサンプル＃３に関する）残余データ１８６−３等を再生成する。

示されているように、コンピュータプロセッサハードウェアは、階層的に導出された第１残余データセット１８６−１を利用して、フレームＦＲ１''をフレームＦＲ１'''へと変換し、コンピュータプロセッサハードウェアは、第２残余データセット１８６−２を利用して、フレームＦＲ２''をフレームＦＲ２'''へと変換し、コンピュータプロセッサハードウェアは、第３残余データセット１８６−３を利用して、フレームＦＲ３''をフレームＦＲ３'''へと変換する、などである。本例示的実施形態における信号の表現１４６−４（解像度＃２）は、信号の表現１４６−３（解像度＃２）から導出されるフレームＦＲ１'''、ＦＲ２'''、ＦＲ３'''、ＦＲ４'''等を含む。

図２は、本明細書における複数の実施形態に係るデコードシステムを図示する非限定的な例示的な図である。

データストリーム１１５がブロック２００によって受信され分離され、レガシーＳＤデータ２１０および追加のデータ２２０が生成される。レガシーＳＤデータは、ブロック２３０における「レガシーＳＤデータからＳＤをデコード」によりデコードされ、ＳＤ ＬＯＱ（品質レベル）１４０−１、第１品質レベルの信号の表現（ＳＤ品質レベル）が生成される。ＳＤ ＬＯＱ１４０−１はブロック２７０によりアップサンプリングされ、（より高い）第２品質レベル（ＨＤ品質レベル）の信号の予測表現である予備ＨＤ ＬＯＱ２８０が生成される。

拡張データ２２０は、ブロック２４０における「複数のＨＤ残余をデコード」によりデコードされ、ＨＤ残余２６０が生成される。

予備ＨＤ ＬＯＱ２８０と複数のＨＤ残余２６０とが組み合わせられ、最終的なＨＤ ＬＯＱ、すなわち再構成ＨＤ信号１５０−１が生成される。

非限定的な実施形態において、ＳＤ ＬＯＱ１４０−１は、第１品質レベルの複数の要素の２次元平面であり、他方、予備ＨＤ ＬＯＱ２８０、複数のＨＤ残余２６０、および再構成ＨＤ信号１５０−１は、（より高い）第２品質レベルの複数の要素の複数の２次元平面である。

非限定的な実施形態において、（視覚的な表現を簡潔にするために図２において示されていない、ブロック２３０により生成される）ＳＤ ＬＯＱ１４０−２が前にデコードされた信号１４０−１に少なくとも部分的に依存するように、ブロック２３０は、時間的デコード方法（例えば、ＭＰＥＧ２、Ｈ.２６４、ＶＰ８等）を活用する。他の非限定的な複数の実施形態において、ブロック２４０も時間的デコード方法を実装する。非限定的な実施形態において、ブロック２４０によりデコードされて信号１５０−２を生成する複数のＨＤ残余は、信号１５０−１を生成するようデコードされるＨＤ残余に少なくとも部分的に基づく。他の非限定的な実施形態において、信号１５０−２を生成するようデコードされる複数のＨＤ残余は、信号１５０−１を生成するよう適用される複数のＨＤ残余をデコードするためにブロック２４０によっても用いられる共通のサポート平面に少なくとも部分的に基づく。

非限定的な実施形態において、拡張データ２２０は、ＳＤ ＬＯＱ１４０−１を補正しアップサンプリングするようブロック２７０により処理される情報を含む。

非限定的な実施形態において、特定の複数のレガシーデコーダが、単に拡張データ２２０を無視しレガシーデータ２１０をデコードすることによりデータストリーム１１５を受信しデコードし、ＳＤ ＬＯＱ１４０−１を生成し得るよう、データストリーム１１５は、当該複数のデコーダにより無視される複数のパケット識別子を活用することにより拡張データ２２０を含む。

非限定的な実施形態において、デコーダ１２０は、エンコードデータの複数の第２部分により指定されるようにディザリングを実行する。実施形態において、このことは、任意の確率分布に従って生成される実質的にランダムな数を適用することにより残余データ２６０における少なくとも１つの残余をデコードすることにより実施される。

図３Ａは、図２において説明されたものと類似のデコードシステムを説明する非限定的な例示的な図であり、データストリーム１１５は拡張データ３１０に対応する情報を備えている。ブロック３２０は、ＳＤ ＬＯＱ１４０−１を補正レイヤー（ＳＤ残余データ）と組み合わせ、その後それをアップサンプリングし、予測ＨＤ ＬＯＱ２８０を生成する。

非限定的な実施形態において、補正レイヤーは、層ベースの階層デコード方法に従ってデコードされる。

非限定的な実施形態において、予測ＨＤ ＬＯＱ２８０を生成するのに用いられるアップサンプリングおよび画像処理オペレーションは、拡張データ３１０により示されるように実施される。

他の非限定的な複数の実施形態において、拡張データ３１０は、ブロック３２０により用いられる複数のアップサンプリング処理のための複数のカーネル係数を備える。非限定的な実施形態において、複数のアップサンプリング処理は、拡張データ３１０により示される４×４カーネル（より低い品質レベルにおいて１６の要素の、１６の係数を用いる加重平均。または、より高い品質レベルの各画素を生成するために、各空間次元について２の倍数のアップサンプリングを行う非限定的な場合においてはより高い品質における各２×２画素ブロックに関する６４の係数を用いる加重平均）を用いる。非限定的な実施形態において、拡張データ３１０は、ＳＤ ＬＯＱ１４０−１を予測ＨＤ ＬＯＱ２８０へとアップサンプリングするのにブロック３２０により用いられる複数のカーネル係数の平面に対応する情報を備える。非限定的な実施形態において、ブロック３２０により用いられるアップサンプリングおよび画像処理オペレーションは、複数の非線形処理を含む。非限定的な実施形態において、複数の彩度成分（例えば、ＹＵＶ色空間におけるＵおよびＶ）のアップサンプリングは、複数の輝度（Ｙ）成分に関する最終的なＨＤ ＬＯＱ１５０−１を生成した後に実行され、（非限定的な実施形態において、バイラテラルフィルタリング法を用いて）最終的なＨＤ ＬＯＱ１５０−１の再構成されたＹ面に少なくとも部分的に基づく。

非限定的な実施形態において、ブロック３２０により実行される複数の処理は、複数の画像処理オペレーション（例えば、アンシャープマスキング、エッジ再構成フィルタ、ディザリング等）を含む。他の非限定的な実施形態において、ブロック２４０により実行される複数の処理は、デコードされた残余を、任意の確率分布に従って算出された複数のランダム値と組み合わせることを含む。

図３Ｂは、図２および図３Ａにおいて説明されるものと類似のデコードシステムを説明する非限定的な例示的な図であり、データストリーム１１６は、レガシーのより低いフレームレートのデータ３３０、動き補償拡張データ３１１、および追加の拡張データ３１２に対応する情報を備えている。ブロック３２１は、低フレームレート信号３３２に基づき、予測された高フレームレート信号３６０を生成する。非限定的な実施形態において、信号３３２に対する信号３６０の追加の複数のフレーム／フィールドを生成するために実行される複数の処理は、複数の時間的アップサンプリング処理および／または動き補償処理を備える。

ブロック３４０は追加の拡張データ３１２を処理し、追加の複数のフレーム／フィールドに関して複数の残余３５０をデコードする。複数の残余３５０はその後、信号３６０の新たに生成された複数のフレーム／フィールドと組み合わせられ、最終的な再構成された高フレームレート信号１５１−１が生成される。

非限定的な実施形態において、データストリーム１１６はＨＤＭＩ（登録商標）規格送信ガイドラインに準拠してＨＤＭＩ（登録商標）ケーブルを介して送信され、レガシーのより低いフレームレートのデータ３３０はＨＤＭＩ（登録商標）規格送信ガイドラインに準拠する非圧縮ビデオデータを含む。拡張データ３１１および３１２は、（単に信号３３２をデコードし表示する）複数のレガシーＨＤＭＩ（登録商標）デバイスにより無視されるメタデータとして送信され、他方、それらは、適切に有効化された（信号１５１をデコードし表示する）複数のデバイスにより処理されデコードされる。

図３Ｃは、図３Ｂに説明されているものと類似のデコードシステムをさらに図示する非限定的な例示的な図である。図３Ｃは、より低いフレームレート（すなわち、時間解像度の点で、より低い品質レベル）のビデオ信号、および拡張情報に基づき、より高いフレームレート（すなわち、時間解像度の点で、より高い品質レベル）のビデオ信号を生成するために追加の複数のフレームを生成する処理を説明する。

他の非限定的な複数の実施形態において、より低い品質レベルの信号に基づき、より高い空間解像度およびより高いフレームレートの両方により特徴付けられるビデオ信号を生成するよう拡張データが処理される。

図４は、本明細書における複数の実施形態に係る、図２および図３Ａ〜３Ｃに説明されている複数のシステムと類似のデコードシステムを図示する非限定的な例示的な図であり、データストリーム１１５は、レガシーＳＤデータ２１０、エンコードデータ４１０、アップサンプリングエンコードデータ４１５、およびエンコードデータ４２０に対応する情報を備えている。エンコードデータ４１０はブロック４３０、複数のＳＤ残余をデコード、により処理され、第１品質レベル（非限定的な実施形態において、ＳＤ解像度）の複数の残余４３５の平面が生成される。非限定的な実施形態において、ブロック４３０により実行される複数の処理は、エンコードデータ４１０をエントロピーデコードし、エントロピーデコードにより生成される複数のシンボルを逆量子化し、複数の残余４３５を生成することを備える。他の非限定的な実施形態において、ブロック４３０により実行される複数の処理は、エンコードデータ４１０をエントロピーデコードし、エントロピーデコードにより生成される複数のシンボルを変換し、変換されたシンボルを逆量子化し、複数の残余４３５を生成することを備える。他の非限定的な実施形態において、ブロック４３０により実行される複数の処理は、エンコードデータ４１０をエントロピーデコードし、エントロピーデコードにより生成される複数のシンボルを逆量子化し、逆量子化された複数のシンボルを複数の残余４３５へと変換することを備える。非限定的な実施形態において、複数の逆量子化処理は量子化されたシンボルを受信し、任意の確率分布に従って、対応する量子化間隔に含まれる値を生成する。他の非限定的な複数の実施形態において、ブロック４３０により実行される複数の処理は、層ベースの階層デコード方法に基づき複数の残余の平面をデコードすることを備える。一実施形態において、方法は、（より低い）第１品質レベルの複数の残余の平面をデコードすることと、第１品質レベルの複数の残余の平面に基づき、（より高い）第２品質レベルの複数の残余の予測平面を生成することと、第２品質レベルの複数の残余の予測平面をデコードデータと組み合わせ、第２品質レベルの複数の残余の平面を生成することを備える。

複数の残余４３５は、ＳＤ ＬＯＱ１４０−１と組み合わせられて、補正ＳＤ ＬＯＱ４６０が生成される。補正ＳＤ ＬＯＱ４６０は、アップサンプリングエンコードデータ４１５に対応する複数のアップサンプリング処理を活用することにより、ブロック４８０によりアップサンプリングされ、予測ＨＤ ＬＯＱ２８０が生成される。

エンコードデータ４２０はブロック４４０によりデコードされ、変換された残余４７０が生成される。変換された残余４７０、補正ＳＤ ＬＯＱ４６０、および予測ＨＤ ＬＯＱ２８０は、ブロック４９０、変換および合計、により処理され、再構成ＨＤ信号１５０−１が生成される。

非限定的な実施形態において、再構成ＨＤ信号１５０−１は、ビデオシーケンスの個別の画像（例えば、フレームまたはフィールド）である。非限定的な実施形態において、エンコードデータ４１０、アップサンプリングエンコードデータ４１５、および／またはエンコードデータ４２０は、画像１５０−１に関する拡張データ（例えば、ＳＤ残余、アップサンプリング情報および／またはＨＤ変換された残余）、およびビデオシーケンスにおける他の複数の画像（例えば、フレームまたはフィールド）に関する拡張データの両方を生成するのに用いられる情報を備える。非限定的な実施形態において、当該情報は、複数の変換された残余４７０（例えば、非限定的な例によると、エンコードデータ４２０からデコードされた、画像１５０−１に対応する相対的な複数の残余を合計することにより）、およびビデオシーケンスにおける他の複数の画像に関する複数の変換された残余（例えば、ビデオシーケンスにおける他の複数の画像に対応する相対的な複数の残余を合計することにより）の両方を再構成するのに用いられる複数の残余の「サポートバッファ」平面を備える。他の非限定的な実施形態において、シーケンスにおける画像に関する拡張データの一部は、シーケンスにおける他の画像に関する拡張データの対応する部分に少なくとも部分的に基づきデコードされる。

図５Ａは、本明細書における複数の実施形態に係る残余デコードを説明する非限定的な例示的な図である。

エンコードデータ４１０は、（ハフマンエントロピーデコード法を実装する）ハフマンデコード５００により、その後（ランレングスエンコードデコード法を実装する）ＲＬＥデコード５１０により、およびその後（適切な逆量子化法を実装する）逆量子化５２０により処理され、複数の残余４３５が生成される。

他の非限定的な複数の実施形態において、ブロック５２０の入力は、逆量子化される前に変換される（すなわち、処理される）。非限定的な実施形態において、ブロック５２０は最初に、受信された複数のシンボルを逆量子化し、その後、その複数の結果を、適切な変換方法（例えば、ＤＣＴ、アダマール、Ｄｉｒｅｃｔｉｏｎａｌ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ Ｔｒａｎｓｆｏｒｍ等）に従って複数の残余４３５へと変換する。

一実施形態において、デコーダ４３０または他の適切なリソースを介し、（コンピュータプロセッサハードウェア１０７の）コンピュータプロセッサハードウェア１０６は、エンコードデータ（図５Ａにおけるエンコードデータ４１０など）の複数の第２部分１８２を変換された残余データへとデコードし、変換された残余データを処理して、量子化された残余データを生成し、量子化された残余データを逆量子化して残余データを再生成し、再生成された残余データを信号の第１表現に適用して、信号の第２表現を生成する。処理は、任意の適切なやり方で起こり得ることに留意されたい。他の実施形態によると、１または複数の残余データセットの何れかが、変換された残余データから生成され得る。例えば、コンピュータプロセッサハードウェアは、エンコードデータの複数の第２部分１８２を、量子化され変換された残余データへとデコードし、量子化された残余データを逆量子化して、変換された残余データを生成し、変換された残余データ、信号（図７Ａ）のそれぞれの１または複数の表現を処理して、残余データを再生成し、再生成残余データを信号の表現に適用するよう構成され得る。

図５Ｂは、本明細書における複数の実施形態に係る層ベースの階層的デコード方法に従う残余のデコードを説明する非限定的な例示的な図である。

エンコードデータ４１０は、複数の残余４３５の平面の任意の品質レベルにそれぞれが対応する、エンコードデータの複数のサブセットへと分割される。

残余データに関する最も低い（最下の）品質レベルに対応するエンコードデータサブセット４１０−Ｂは残余デコーダ５３０＋Ｂにより処理され、残余平面Ｙ^{ＢＯＴＴＯＭ}５６０＋Ｂが生成される。平面５６０＋Ｂは、予測計算機５７０＋Ｂにより処理され、予測表現Ｕ^Ｂ＋１５８０＋Ｂ＋１が生成される。非限定的な実施形態において、予測表現Ｕ^Ｂ＋１を生成するのに実行される複数の処理は、アップサンプリング処理を含む。

ブロック４３０は、後続の（漸進的により高い）品質レベルに関して、複数のエンコードデータサブセットをデコードすることにより、および当該サブセットからデコードされる残余データを、前の（より低い）品質レベルに基づき、対応する予測表現Ｕと組み合わせることにより継続する。

例えば、エンコードデータサブセット４１０−１は、継承情報５３２−１に少なくとも部分的に基づき残余デコーダ５３１により処理され、中間データ５４１が生成される。非限定的な実施形態において、継承情報５３２−１は、サブセット４１０−１が中間データ５４１の、より低い品質レベルから直接的に継承された複数の部分についての何らかの情報を指定する必要なく、それら複数の部分を指定する。中間データ５４１および予測表現Ｕ^−１５８１は、再構成器５５１により処理され組み合わせられ、複数の残余Ｙ^−１５６１の平面が生成される。平面５６１は、予測計算機５７１により処理され、予測表現Ｕ^０５８０が生成される。

エンコードデータサブセット４１０−０は、継承情報５３２−０に少なくとも部分的に基づき残余デコーダ５３０により処理され、中間データ５４０が生成される。中間データ５４０および予測表現Ｕ^０５８０は再構成器５５０により処理され組み合わせられ、残余４３５に対応する複数の残余Ｙ^０５６０の平面が生成される。

非限定的な実施形態において、予測計算機５７０、５７１、・・・、５７０＋Ｂは、ブロック４３０により受信された、エンコードデータの対応する複数のサブセットにおいて指定される複数のパラメータに従って複数のアップサンプリング処理、および／または画像処理オペレーションを実装する。

他の非限定的な複数の実施形態において、残余デコーダ５３０、５３１、・・・５３０＋Ｂは、ビデオシーケンスにおける複数の画像に亘る時間相関性を効率的に示すために、基準データにも基づき中間データを生成する。いくつかの非限定的な実施形態において、基準データは、ビデオシーケンスにおける複数の画像の対応する複数のエンコードデータサブセットにおいて指定されるデータと組み合わせられる１または複数のサポート平面である。他の非限定的な複数の実施形態において、基準データは、ビデオシーケンスにおける基準画像に関する対応する残余データである。当該実施形態のいくつかにおいて、継承情報５３２−０、・・・５３２−Ｂは、中間データ５４０＋Ｎの要素が、デコードデータをビデオシーケンスにおける基準画像に関するＹ^−Ｎの対応する要素と組み合わせることにより算出されることになることを示す情報を備える（すなわち、平面Ｙのどの要素が基準画像に基づかなくてはならないかについての情報が、層化された階層に沿って継承され、時間相関性によって利益を得る複数の要素を効率的に区別する、例えば、画像の大きな一部に関するより低い品質レベルの継承を指定および「最終化」することを可能とする）。いくつかの非限定的な実施形態において、Ｙ^−Ｎの対応する要素は、ブロック４３０により受信された動きについての適切な情報を処理することにより、動き補償法に従って算出される。

図５Ｃは、本明細書における複数の実施形態に係る、図５Ｂの残余デコーダ５３１の実装を図示する非限定的な例示的な図である。

複数のシンボル確率５８１を生成するために、エンコードデータサブセット４１０−１は、確率推定器５８０−１により処理される。非限定的な実施形態において、効率的なスタティックエントロピーデコードを可能とするよう、確率推定器５８０−１は、エンコードデータサブセット４１０−１において指定される複数のパラメータに少なくとも部分的に基づき、エンコードデータサブセット４１０−１へとエントロピーエンコードされた複数のシンボルに関する確率分布を再構成する。

エンコードデータサブセット４１０−１および複数のシンボル確率５８１はその後、スタティックレンジデコーダ５８０−２により処理され、複数のデコードされたシンボル５８２が生成される。いくつかの非限定的な実施形態において、ブロック５８０−２がデコードされたシンボル５８２のパラレルエントロピーデコードを実行することを可能とするよう、ブロック５８０−１は、複数のシンボル確率５８１の複数のセット（デコードする複数のシンボルの各隣接するタイル１つ毎に１つ）を生成する。他の非限定的な実施形態において、ブロック５８０−２は、算術デコードなど異なるスタティックエントロピーデコード方法を実装する。

複数のデコードされたシンボル５８２は逆量子化器５８０−３により処理され、複数の逆量子化されたシンボル５８３が生成される。

複数の逆量子化されたシンボル５８３、継承情報５３２−１、および基準情報５８４はコンバイナ５８０−３により処理され、中間データ５４１および継承情報５３０−１の両方が生成される。非限定的な実施形態において、継承情報５３２−１は、エンコードデータサブセット４１０−１がより低い品質レベルから直接的に継承された複数の部分についての何らかの情報を指定する必要なしに中間データ５４１のそれら複数の部分を指定する。このことにより、デコーダが既に有する情報を用いてデコーダにより効果的に予測され得る複数の要素についての何らかの情報をエンコードデータが指定する必要がないので、データの送信におけるより高い効率性が可能となる。非限定的な実施形態において、継承情報５３０−１は、中間データ５４１のどの部分が基準情報５８４に少なくとも部分的に基づき生成されなければならないかも指定する。

したがって、エンコードデータは、再構成データにおいて指定されるシンボル確率分布に従ってスタティックレンジエントロピーデコーダを介しデコードされ得る。また更なる複数の実施形態によると、エンコードデータは、再構成データにおいて指定されるシンボル確率分布に従って静的算術エントロピーデコーダを介しデコードされ得る。

図６Ａおよび６Ｂは、本明細書における複数の実施形態に係る変換された残余のデコードを図示する非限定的な例示的な図である。

図６Ａは、複数の変換された残余の４つのＳＤ平面（すなわち、ＳＤ解像度の４つの平面）、複数のＡ変換された残余６４０−１、複数のＢ変換された残余６４０−２、複数のＣ変換された残余６４０−３、複数のＤ変換された残余６４０−４を生成するために非限定的な実施形態において用いられる一連の処理を説明する。示されているように、エンコードデータ４２０の複数の異なる部分が、ハフマンエントロピーデコード（ハフマンデコーダ６１０）と複数のランレングス（ＲＬＥ）デコード方法（ＲＬＥデコーダ６２０）との組み合わせに従ってデコードされる。非限定的な実施形態において、逆量子化ブロック６３０−１、６３０−２、６３０−３、６３０−４は、複数の異なる逆量子化法および／またはパラメータを活用する（複数の変換された残余の複数の異なるセットが、複数の異なる量子化パラメータに従ってエンコーダにより量子化されたことに対応する）。

図６Ｂは非限定的な実施形態を説明し、複数のＡ残余６４０−１およびＤ残余６４０−４が、エンコードデータ４２０に含まれるデコード情報を用いてではなく、デコーダ側において知られているデフォルトの複数の平面に従って再構成される（例えば、非限定的な実施形態において、複数の要素の複数の平面はゼロに初期化されている）。

他の非限定的な複数の実施形態（図６Ａおよび６Ｂにおいて示されていない）において、図５Ｃに図示されている方法と類似のスタティックエントロピーデコード方法に従ってエンコードデータセット４２０−１、・・・、４２０−４がデコードされ、エントロピーデコーダは、エンコードデータ内に示されている１または複数のパラメータから外挿法によって推定されたシンボル確率分布に従ってスタティックエントロピーデコード方法を実装する。

図７Ａ、７Ｂおよび７Ｃは、ブロック４９０の非限定的な実施形態により実行される複数の処理を図示する、複数の変換された残余の使用を図示する非限定的な例示的な図である。

図７Ａは、本明細書における複数の実施形態に係る予備ＨＤ ＬＯＱ２８０、補正ＳＤ ＬＯＱ４６０、および複数の変換された残余６４０に基づき、ブロック４９０が最終的なＨＤ ＬＯＱ１５０−１をどのように再構成するかを図示する。

最終的なＨＤ ＬＯＱ１５０−１の複数の要素１５０−１−ｉの各２×２ブロック（図７Ａは、１５０−１−１を図示しているが、同様の複数の処理が、画像の他の複数の２×２ブロックに関して実施される）が、予備ＨＤ ＬＯＱ２８０の対応するブロック２８０−ｉ、補正ＳＤ ＬＯＱ４６０の対応する要素４６０−ｉ（例えば、非限定的な実施形態において、画像内で２８０−ｉおよび１５０−１−ｉと共に配置された要素。２８０−ｉおよび１５０−１−ｉの「親要素」としても定義される）、および４つの対応する変換された残余６４０−１−ｉ、６４０−２−ｉ、６４０−３−ｉおよび６４０−４−ｉを処理することにより生成される。

より具体的には、複数の要素１５０−１−１の２×２ブロックの図示されているケースに関して、４つの要素２８０−１は、それらの対応する、補正ＳＤ ＬＯＱ４６０の親要素４６０−１と共にＰＡ生成７００のブロックにより処理され、値ＰＡ７３０−１が生成される。

Ｂ残余６４０−２−１は、ブロック２８０−１の複数の値のそれぞれに加算され、またはそこから減算され、例えば、非限定的な実施形態において、２×２ブロックの左の複数の要素に加算され、２×２ブロックの右の複数の要素から減算される。

Ｃ残余６４０−３−１は、ブロック２８０−１の複数の値のそれぞれに加算され、またはそれから減算され、例えば、非限定的な実施形態において、２×２ブロックの上部の複数の要素に加算され、２×２ブロックの下部の複数の要素から減算される。

Ｄ残余６４０−３−１は、ブロック２８０−１の複数の値のそれぞれに加算され、またはそれから減算され、例えば、非限定的な実施形態において、２×２ブロックの左上および右下の複数の要素に加算され、２×２ブロックの右上および左下の複数の要素から減算される。

これら組み合わせの全ての結果は、最終的なＨＤ ＬＯＱ１５０−１の複数の要素１５０−１−１の２×２ブロックである。

手順はその後、最終的なＨＤ ＬＯＱ１５０−１の複数の２×２ブロックの全てに関して繰り返される。非限定的な実施形態において、最終的なＨＤ ＬＯＱ１５０−１の複数の次元の１つが奇数の数の要素を有している場合、デコーダは最初に、追加の行または列を含む画像を再構成し、その後そのような追加の行または列を破棄する。

言い換えると、説明されている非限定的な実施形態は、次のように最終的なＨＤ ＬＯＱ１５０−１を再構成する。信号の第２表現（補正ＳＤ ＬＯＱ４６０）に基づき、より実質的に高い表示要素解像度の信号の予備表現である信号の第３表現（予備ＨＤ ＬＯＱ２８０）を生成し、エンコードデータの複数の第２部分を、変換された残余データセット（Ａ残余、Ｂ残余、Ｃ残余、およびＤ残余６４０）へとデコードし、変換された残余データセット、信号の第２表現（補正ＳＤ ＬＯＱ４６０）、および信号の第３表現（予備ＨＤ ＬＯＱ２８０）の組み合わせを処理して、新たな残余データセットを生成し（予備ＨＤ ＬＯＱ２８０に直接的に適用されるので図面に示されず）、および、新たな残余データセットを信号の第３表現に適用して、信号の第４表現を生成する。

図７Ｂはブロック７００の非限定的な実施形態を図示し、複数のＰＡ７３０のＳＤ平面の各値７３０−ｉは、要素４６０−ｉ（例えば、ｙ_ｈ，ｋ）と、２×２ブロック２８０−ｉの対応する４つの要素の値（例えば、ｐ_ｉ，ｊ，ｐ_{ｉ，ｊ＋１}，ｐ_{ｉ＋１，ｊ}，ｐ_{ｉ＋１，ｊ＋１}）の平均との間の差を算出することにより生成される。値７３０−１はＡ残余６４０−１−１と組み合わせられ、結果として得られる値は、ブロック２８０−１の４つの要素のそれぞれに加算される。

図７Ｃは、階層的方法に従って残余データ（信号の第１表現を信号の第２表現へと変更するために適用される残余データなど）の再構成内の複数の変換された残余を用いる非限定的な実施形態を図示する。

実施形態によると、残余データは、一連の、より低い品質レベルの残余データの再構成と、（複数のアップサンプリング処理を介してなど）次に高い品質レベルの残余データの予備表現を生成することと、複数の変換された残余をデコードすることと、変換された残余により指定されるように次に高い品質レベルの相対的な残余データを生成することと、相対的な残余データを適用することにより次に高い品質レベルの残余データの予備表現を変更し、次に高い品質レベルの残余データを生成することに従って漸進的により高い複数の品質レベルで再構成される。信号の第２表現を生成するために、残余データの階層における最も高い品質レベルの残余データはその後、信号の第１表現に適用される。

言い換えると、実施形態はエンコードデータを次のように処理する。エンコードデータの複数の第２部分を第１品質レベルの残余データへとデコードし、第１品質レベルの残余データに基づき、第１品質レベルより高い第２品質レベルの残余データの予備表現を生成し、エンコードデータの複数の第２部分を、量子化され変換された残余データへとデコードし、量子化され変換された残余データを逆量子化して、変換された残余データを生成し、変換された残余データと、第１品質レベルの残余データと、第２品質レベルの残余データの予備表現との組み合わせを処理して、第２品質レベルの残余データを再生成し（図７Ｃに説明されているように、第２品質レベルの残余データの予備表現を、相対的な残余データセットと組み合わせることによってなど）、第２品質レベルの再生成された残余データを信号の第１表現に適用して、信号の第２表現を生成する。

非限定的な実施形態は、信号の第２表現に基づき、より実質的に高い表示要素解像度の信号の予備表現である信号の第３表現を生成することと、エンコードデータの複数の第２部分を新たな変換された残余データセットへとデコードすることと、新たな変換された残余データセットと、信号の第２表現と、信号の第３表現との組み合わせを処理して、新たな残余データセットを生成することと、新たな残余データセットを信号の第３表現に適用して、信号の第４表現を生成することとをさらに備える。

図８は、本明細書における複数の実施形態に係る機能性の何れかが実行される例示的なコンピュータアーキテクチャを図示する図である。１または複数の異なる処理技術の何れかが、コンピュータプロセッサハードウェア上でのソフトウェアコードの実行を介して実装され得る。

非限定的な実施形態において、コンピュータシステム８５０は、セットトップボックスまたは他の適切なリソースに配置される。本明細書における複数の実施形態は、コンピュータシステム８５０が、本明細書において説明されているように、エンコードデータをデコードし、１または複数の異なるより高い品質レベルの何れかで信号を再構成することを可能とする。非限定的な例として、コンピュータシステム８５０におけるコンピュータプロセッサハードウェアは、他の複数のレガシーセットトップボックスが第１品質レベルのみでデコードする（例えば、ＳＤビデオを生成する）同じデータストリームを処理することにより第２品質レベル（例えば、ＨＤビデオ）を生成するよう構成され得る。

例えば、より具体的に示されているように、本実施例のコンピュータシステム８５０（例えば、コンピュータプロセッサハードウェア）は、デジタル情報が格納され取り出され得る非一時的なタイプの媒体（すなわち任意のタイプのハードウェアストレージ媒体）などコンピュータ可読記憶媒体８１２を結合するインターコネクト８１１を含み得る。コンピュータシステム８５０は、プロセッサ８１３（すなわち、共に配置された１または複数のプロセッサ、若しくは共通点のないように配置された複数のプロセッサデバイスなどのコンピュータプロセッサハードウェア１０６、１０７等）、Ｉ／Ｏインタフェース８１４、通信インタフェース８１７等をさらに含み得る。

コンピュータプロセッサハードウェア（すなわち、プロセッサ８１３）は、単一の位置に配置され得、または複数の位置に分散させられ得る。

その名前が示唆するように、Ｉ／Ｏインタフェース８１４は、レポジトリ８８０、制御デバイス（コントローラ８９２など）、１または複数のディスプレイスクリーン等などの複数のリソースへの接続可能性を提供する。

コンピュータ可読記憶媒体８１２は、メモリ、光学ストレージ、ハードドライブ、フロッピー（登録商標）ディスク等などのデータを格納する任意のハードウェアストレージデバイスであり得る。一実施形態において、コンピュータ可読記憶媒体８１２は、複数の命令および／またはデータを格納する。

通信インタフェース８１７は、コンピュータシステム８５０およびプロセッサリソース８１３が、複数のネットワーク１９０の何れかなどのリソース上で通信を行うことを可能とする。Ｉ／Ｏインタフェース８１４は、プロセッサリソース８１３が、ローカルな、または遠隔の位置からデータにアクセスする、それぞれのディスプレイスクリーンを制御する、入力を受信する、等を行うことを可能とする。

示されているように、コンピュータ可読記憶媒体８１２は、プロセッサ８１３により実行されるデコーダアプリケーション８４０−１（例えば、ソフトウェア、ファームウェア等）によりエンコードされ得る。デコーダアプリケーション８４０−１は、本明細書に説明されている複数の処理の何れかを実装するための複数の命令を含むよう構成され得る。

一実施形態の処理の間、コンピュータ可読記憶媒体８１２に格納されたデコーダアプリケーション８４０−１の複数の命令を起動する、走らせる、実行する、解釈する、さもなくば実行するために、プロセッサ８１３は、インターコネクト８１１を介しコンピュータ可読記憶媒体８１２にアクセスする。

デコーダアプリケーション８４０−１の実行によって、プロセッサリソース８１３におけるデコーダプロセス８４０−２などの処理機能性が生成される。言い換えると、プロセッサリソース８１３と関連付けられたデコーダプロセス８４０−２は、コンピュータシステム８５０におけるプロセッサリソース８１３内での、またはその上でのデコーダアプリケーション８４０−１の実行の１または複数の態様を表す。

当業者は、コンピュータシステム８５０が、デコーダアプリケーション８４０−１を実行するための複数のハードウェアリソースの割り当ておよび使用を制御するオペレーティングシステムなど他の複数の処理および／またはソフトウェアおよびハードウェア構成要素を含み得ることを理解しよう。

複数の異なる実施形態によると、コンピュータシステムは、セットトップボックス、アクセスポイント、モバイルコンピュータ、パーソナルコンピュータシステム、無線デバイス、基地局、電話機、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバー、記憶デバイス、カメラ、カムコーダ−、セットトップボックス、モバイルデバイス、ビデオゲームコンソール、携帯型ビデオゲームデバイスなど消費者向け電子デバイス、スイッチ、モデム、ルータ等などの周辺機器、または一般的に、任意のタイプのコンピューティングデバイスまたは電子デバイスを含むがこれらに限定されない様々なタイプのデバイスのいずれかであり得ることに留意されたい。

コンピュータシステム８５０は、ネットワーク環境における任意の位置または複数の位置に存在し得る。コンピュータシステム８５０は、本明細書に説明されている機能性を実装するようネットワーク環境における任意の適切なリソースに含まれ得る。

ここで、異なる複数のリソースによりサポートされる機能性が、図９、１０および１１のフローチャートを介して説明される。以下の複数のフローチャートにおける複数のステップは、任意の適切な順番で実行され得ることに留意されたい。

図９は、複数の実施形態に係る例示的な方法を図示するフローチャート９００である。上記で説明された複数の概念との何らかの重複があるであろうことに留意されたい。

処理ブロック９１０において、コンピュータプロセッサハードウェアは、データストリームを、エンコードデータの複数の第１部分１８１およびエンコードデータの複数の第２部分１８２へとパースする。

処理ブロック９２０において、コンピュータプロセッサハードウェアは第１デコーダ１３０を実装して、エンコードデータの複数の第１部分１８１を信号の第１表現へとデコードする。

処理ブロック９３０において、コンピュータプロセッサハードウェアは第２デコーダ１２０を実装して、エンコードデータの複数の第２部分１８２を、信号の第１表現をどのように変更するかを指定する再構成データ１８４へとデコードする。

処理ブロック９４０において、コンピュータプロセッサハードウェアは再構成データ１８４を信号の第１表現に適用して、信号の第２表現を生成する。

図１０は、複数の実施形態に係る例示的な方法を図示するフローチャート１０００である。上記で説明された複数の概念との何らかの重複があるであろうことに留意されたい。

処理ブロック１０１０において、コンピュータプロセッサハードウェアは、データストリームを、エンコードデータの複数の第１部分、エンコードデータの複数の第２部分、およびエンコードデータの複数の第３部分へとパースする。

処理ブロック１０２０において、コンピュータプロセッサハードウェアは第１デコーダを実行して、エンコードデータの複数の第１部分を第１品質レベルの信号の第１表現へとデコードする。

処理ブロック１０３０において、コンピュータプロセッサハードウェアは第２デコーダを実行して、エンコードデータの複数の第２部分を、信号の第１表現を第１品質レベルより高い第２品質レベルの信号の第２表現へとどのように変更するかを指定する第１再構成データへとデコードする。

処理ブロック１０４０において、コンピュータプロセッサハードウェアは、第１再構成データと信号の第１表現とを処理して、第２品質レベルの信号の第２表現を生成する。

処理ブロック１０５０において、コンピュータプロセッサハードウェアは第３デコーダを実行して、エンコードデータの複数の第３部分を、信号の第２表現を第２品質レベルより高い第３品質レベルの信号の第３表現へとどのように変更するかを指定する第２再構成データへとデコードする。

処理ブロック１０６０において、コンピュータプロセッサハードウェアは、第２再構成データと信号の第２表現とを処理して、第３品質レベルの信号の第３表現を生成する。

図１１は、複数の実施形態に係る例示的な方法を図示するフローチャート１１００である。上記で説明された複数の概念との何らかの重複があるであろうことに留意されたい。

処理ブロック１１１０において、コンピュータプロセッサハードウェアは、受信されたデータストリームを、信号の第１表現と関連付けられた複数の設定を指定するデコードデータおよびエンコードデータへとパースする。

処理ブロック１１２０において、コンピュータプロセッサハードウェアはデコードデータを利用して、信号の第１表現を生成する。

処理ブロック１１３０において、コンピュータプロセッサハードウェアはデコーダを実行して、エンコードデータを、信号の第１表現をどのように変更するかを指定する再構成データへとデコードする。

処理ブロック１１４０において、コンピュータプロセッサハードウェアは、再構成データを信号の第１表現に適用して、信号の第２表現を生成する。

図１２Ａは、本明細書における複数の実施形態に係る非限定的な例示的なエンコード法を図示する。

元のビデオ信号１００はダウンコンバータ１２００により処理され、ダウンコンバート信号１２２０が生成される。非限定的な実施形態において、ダウンコンバート信号１２２０は、より低い表示要素解像度の信号である。

レガシーエンコーダ１２４０はダウンコンバート信号１２２０を処理し、エンコードデータ１２５０が生成される。非限定的な実施形態において、レガシーエンコーダ１２４０は、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）エンコード法に従って、ダウンコンバート信号をエンコードする。

再構成データ生成器１２３０は、元の信号１００と、レガシーエンコーダ１２４０によりエンコードされた信号の（レガシーエンコーダ１２４０から再構成表現を受信することにより、または、図１２Ａに図示されているようにエンコードデータ１２５０を受信しデコードすることにより得られる）再構成表現とを処理し、エンコードデータ１２６０（エンコード拡張データなど）が生成される。

コンバイナ１２７０は、エンコードデータ１２５０（エンコードデータの複数の第１部分）とエンコードデータ１２６０（エンコードデータの複数の第２部分）とを受信し、それらをデータストリーム１１５へと組み合わせる。非限定的な実施形態において、データストリーム１１５は、エンコードデータの複数の第２部分が、エンコードデータの複数の第１部分とは異なるパケット識別子（ＰＩＤ）と関連付けられるＭＰＥＧ−２トランスポートストリームとして編成される。

図１２Ｂは、本明細書における複数の実施形態に係る非限定的な例示的なエンコード法を図示する。

元のビデオ信号１００（ＵｌｔｒａＨＤビデオ信号など）は、ダウンコンバータ１２００により処理され、ダウンコンバート信号１２２０（元のビデオ信号のＳＤ表現など）およびダウンコンバート信号１２２５（元のビデオ信号のＨＤ表現など）が生成される。

レガシーエンコーダ１２４０はダウンコンバート信号１２２０を処理し、エンコードデータ１２５０が生成される。非限定的な実施形態において、レガシーエンコーダ１２４０は、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）エンコード法に従って、ダウンコンバート信号をエンコードする。

ＨＤ再構成データ生成器１２３０は、信号のダウンコンバートされたＨＤ表現１２２５と、レガシーエンコーダ１２４０によりエンコードされた信号の（レガシーエンコーダ１２４０から再構成表現を受信することにより、または、図１２Ｂに示されるようにエンコードデータ１２５０を受信しデコードすることにより得られる）再構成表現を処理し、エンコードデータ１２６０（エンコードＨＤ拡張データなど）が生成される。

ＵｌｔｒａＨＤ再構成データ生成器１２３７は、元の信号１００と、１２３０から受信されたＨＤ信号の再構成表現１２３５とを処理し、エンコードデータ１２６５（エンコードＵｌｔｒａＨＤ拡張データなど）が生成される。

コンバイナ１２７１は、エンコードデータ１２５０（エンコードデータの複数の第１部分）と、エンコードデータ１２６０（エンコードデータの複数の第２部分）と、エンコードデータ１２６５（エンコードデータの複数の第３部分）とを受信し、それらをデータストリーム１１５へと組み合わせる。非限定的な実施形態において、データストリーム１１５は、エンコードデータの複数の第２部分とエンコードデータの複数の第３部分とが、エンコードデータの複数の第１部分のＰＩＤと異なる特定のパケット識別子（ＰＩＤ）に関連付けられるＭＰＥＧ−２トランスポートストリームとして編成される。

繰り返すが、本明細書に説明する技術は、受信されたデータをエンコードしデコードすることによく適していることに留意されたい。しかし、本明細書における複数の実施形態は、そのような複数の用途での使用に限定されず、本明細書に説明する技術は、他の複数の用途にも同じくよく適していることに留意すべきである。

本明細書に明記した説明に基づき、特許請求されている主題の理解を深められるよう数多くの具体的な詳細を明記した。しかし、当業者であれば、これらの具体的な詳細を用いずとも特許請求されている主題を実施し得ることを理解されよう。他の複数の例において、当業者には公知であろう方法、装置、システム等は、特許請求されている主題を曖昧にすることを避けるべく詳細には説明していない。詳細な説明のいくつかの箇所は、コンピュータメモリなどのコンピューティングシステムのメモリ内に格納されたデータビットまたは２値デジタル信号に対する処理のアルゴリズムまたは記号表現に関して提示した。これらのアルゴリズムを用いた説明または表現は、データ処理に関する分野の当業者が研究の内容を他の当業者に伝えるために用いる技術の例である。本明細書で説明される、または一般的にアルゴリズムは、所望される結果をもたらす首尾一貫した一連の処理または同様の処理であるものと見なされる。この文脈において、オペレーションまたは処理は、物理量の物理的な操作を伴う。必ずしもそうではないが典型的には、そのような量は、格納され得る、伝送され得る、組み合わせられ得る、比較され得る、さもなくば操作され得る電子信号または磁気信号の形態であり得る。主に共通の使用が理由となり、そのような信号をビット、データ、値、要素、シンボル、文字、用語、数字、数詞などと呼ぶことが時々、好都合であることが分かっている。しかし、これらの、および同様の用語は全て適切な物理量と関連付けられ、単に好都合なラベルに過ぎないことが理解されるべきである。具体的に異なるように述べられていない限り、以下の説明から明らかなように、本明細書を通じて「処理」、「演算」、「算出」、「判断」、または同様のものなどの用語を利用した説明は、メモリ、レジスタ、または他の情報記憶デバイス、送信デバイス、またはコンピューティングプラットホームのディスプレイデバイス内で物理的な電子量または磁気量として表されるデータを操作する、または変換するコンピュータまたは同様の電子コンピューティングデバイスなどのコンピューティングプラットホームによる動作または処理を指すことが理解される。

好ましい実施形態を参照し、本願発明を具体的に示し説明してきたが、当業者には、添付の請求項により規定される本願の思想および態様から逸脱することなく、形態および詳細に関して様々な変更が加えられ得ることが理解されよう。そのような変更は、本願の態様に含まれることが意図されている。よって、本願の実施形態の先述した説明は限定を意図しない。むしろ、本願発明の任意の限定は以下の請求項において提示される。
本明細書によれば、以下の各項目に記載の事項もまた開示される。
［項目１］
コンピュータプロセッサハードウェアを介してハイブリッド上位互換性のあるデータストリームをデコードするための方法であって、
前記コンピュータプロセッサハードウェアのパーサーロジックによって、前記データストリームを、レガシーフォーマットに従ってエンコードされ、第１固有識別子値によりタグ付けされるデータの複数の第１部分、および階層的エンコードフォーマットに従ってエンコードされ、第２固有識別子値によりタグ付けされるデータの複数の第２部分へパースする段階と、
前記データストリームの第１表現を第１品質レベルで得るために、第１デコーダにおいて、前記複数の第１部分をデコードする段階と、
前記データストリームの予備的な第２表現を第２品質レベルで得るために、前記第１品質レベルを有する前記第１表現をアップサンプリングする段階と、
再構成データを得るために、第２デコーダにおいて、前記複数の第２部分をデコードする段階であって、前記再構成データは、前記第１表現よりも高い品質を有する第２品質レベルで前記データストリームの第２表現を得るべく、前記予備的な第２表現をどのように変更するかを指定する、デコードする段階と、
前記再構成データを前記予備的な第２表現に適用して、前記第２表現を第２品質レベルで生成する段階と
を備え、
前記複数の第１部分は、前記レガシーフォーマットに従ってデコードされ、
前記複数の第２部分から導出される前記再構成データは、前記階層的エンコードフォーマットに従ってデコードされる、方法。
［項目２］
前記複数の第１部分はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットに従ってデコードされる、項目１に記載の方法。
［項目３］
前記複数の第１部分は非圧縮ビデオデータを含む、項目１または２に記載の方法。
［項目４］
前記複数の第２部分は少なくとも時間的または空間的に圧縮されたデータであり、
前記第２デコーダにおいてデコードする段階は、少なくとも時間的および空間的なアップサンプリング処理のうちの１つを前記圧縮されたデータに適用して前記再構成データを生成する段階を有し、
適用される前記アップサンプリング処理は、より低い解像度の複数の表示要素設定をより高い解像度の複数の表示要素設定に変換する、項目２または３に記載の方法。
［項目５］
前記コンピュータプロセッサハードウェアは第１コンピュータプロセッサハードウェアであり、
第２コンピュータプロセッサハードウェアを介して、
前記データストリームを受信する段階と、
前記データストリームにおいて受信された前記複数の第１部分のみの、前記第１表現へのデコードを開始する段階と、
前記第１表現の、ディスプレイスクリーン上での表示を開始する段階と
を備える、項目１から４のいずれか一項に記載の方法。
［項目６］
前記複数の第１部分は、レガシーデコーダコンピュータプロセッサハードウェアと互換性のあるデコード方法に従ってデコードされ、前記データストリームは、前記複数の第２部分がレガシーデコーダコンピュータプロセッサハードウェアにより用いられないよう編成され、
前記レガシーデコーダコンピュータプロセッサハードウェアは、ｉ）前記複数の第１部分のみのデコードを開始し、ｉｉ）前記第１表現の、それぞれのディスプレイスクリーン上での表示を開始する、項目５に記載の方法。
［項目７］
前記再構成データは、１または複数の表示要素解像度に従ってエンコードされた残余データの階層を含む、項目１から６のいずれか１項に記載の方法。
［項目８］
前記第２デコーダを実行して前記複数の第２部分をデコードする段階は、
前記複数の第２部分により指定されるように第１品質レベルの第１残余データセットをデコードする段階と、
前記第１残余データセットを利用して、前記第１表現に少なくとも部分的に基づき、前記第１表現よりも高い品質レベルを有する前記第２表現を生成する段階と、
前記第２表現に少なくとも部分的に基づき、前記第２表現の解像度より高い解像度を有する前記データストリームの第３表現を生成する段階と、
前記複数の第２部分により指定されるように第２品質レベルの第２残余データセットをデコードする段階と、
前記第２残余データセットを利用して、前記第３表現に少なくとも部分的に基づき、前記第３表現よりも高い品質レベルを有する前記データストリームの第４表現を生成する段階と
を有する、項目１から７のいずれか一項に記載の方法。
［項目９］
前記第２デコーダを実行して、前記複数の第２部分をデコードする段階は、
前記複数の第２部分により指定される複数のアップサンプリング処理を特定する段階と、
前記複数のアップサンプリング処理を前記第２表現に適用して、前記第２表現の表示要素解像度より実質的に高い表示要素解像度を有する前記データストリームの第３表現を生成する段階と
を有する、項目１から８のいずれか一項に記載の方法。
［項目１０］
前記再構成データは少なくとも第１残余データセットおよび第２残余データセットを含み、
前記第１残余データセットは、前記データストリームの表現をどのように第１表示要素解像度で変更するかを指定し、
前記第２残余データセットは、前記データストリームの表現をどのように第２表示要素解像度で変更するかを指定し、
前記第２表示要素解像度は、前記第１表示要素解像度より高い、項目１から９のいずれか一項に記載の方法。
［項目１１］
前記データストリームは、複数の表示要素の複数のフレームを含むビデオ信号であり、
前記複数の第１部分と前記複数の第２部分との間の複数のタイミング関連性を特定する段階をさらに備え、
前記複数のタイミング関連性は、前記再構成データが、前記データストリームの前記第１表現における前記複数の表示要素の前記複数のフレームのどれに関連するかを示し、
前記再構成データを前記第１表現に適用して前記第２表現を生成する段階は、前記複数のタイミング関連性に従って、前記再構成データを利用して、前記第１表現を前記第２表現へと時間的にアップサンプリングする段階を有し、
前記第２表現は、複数の表示要素のフレームを前記第１表現より多く含む、項目１から１０のいずれか一項に記載の方法。
［項目１２］
前記再構成データを適用する段階は、前記再構成データにより指定されるように、前記第２表現を、前記第２表現より高い表示要素解像度を有する前記データストリームの第３表現へと空間的にアップサンプリングする段階を有する、項目１から１１のいずれか一項に記載の方法。
［項目１３］
前記再構成データは、複数の表示要素解像度に従ってエンコードされた残余データの階層を含み、
前記第２デコーダは、複数のアップサンプリング処理を前記複数の第２部分に適用して前記残余データの階層を再生成する、項目１から１２のいずれか一項に記載の方法。
［項目１４］
前記複数の第２部分を、変換された残余データへとデコードする段階と、
前記変換された残余データを処理して量子化された残余データを生成する段階と、
前記量子化された残余データを逆量子化して残余データを再生成する段階と、
再生成された前記残余データを前記第１表現に適用して前記第２表現を生成する段階と
をさらに備える、項目１から１３のいずれか一項に記載の方法。
［項目１５］
前記複数の第２部分を第１品質レベルの残余データへとデコードする段階と、
前記第１品質レベルの前記残余データに基づき、前記第１品質レベルより高い第２品質レベルの残余データの予備表現を生成する段階と、
前記複数の第２部分を、量子化され変換された残余データへとデコードする段階と、
前記量子化され変換された残余データを逆量子化して、変換された残余データを生成する段階と、
前記変換された残余データと、前記第２品質レベルの前記残余データの予備表現との組み合わせを処理して、前記第２品質レベルの残余データを再生成する段階と、
前記第２品質レベルの再生成された前記残余データを前記第１表現に適用して、前記第２表現を生成する段階と
をさらに備える、項目１から１４のいずれか一項に記載の方法。
［項目１６］
前記第２表現に基づき、より実質的に高い表示要素解像度の前記データストリームの予備表現である前記データストリームの第３表現を生成する段階と、
前記複数の第２部分を、変換された残余データセットへとデコードする段階と、
前記変換された残余データセットと、前記第３表現との組み合わせを処理して、残余データセットを生成する段階と、
前記残余データセットを前記第３表現に適用して、前記データストリームの第４表現を生成する段階と
をさらに備える、項目１から１５のいずれか一項に記載の方法。
［項目１７］
アップサンプリング処理を、前記第２表現に適用して、前記第２表現より実質的に高い表示要素解像度を有する前記データストリームの第３表現を生成する段階をさらに備え、
前記アップサンプリング処理の適用は、前記第２表現における複数の表示要素のための複数の設定に基づき、前記第３表現における表示要素のための複数の設定を導出することを有する、項目１から１６のいずれか一項に記載の方法。
［項目１８］
前記パーサーロジックによって、前記データストリームを、前記階層的エンコードフォーマットに従ってエンコードされ、第３固有識別子値によりタグ付けされるデータの複数の第３部分へとパースする段階と、
第２再構成データを得るために、第３デコーダにおいて、前記複数の第３部分をデコードする段階であって、前記第２再構成データは、前記第２品質レベルより高い第３品質レベルで前記データストリームの第３表現を得るべく、前記第２表現をどのように変更するかを指定する、デコードする段階と、
前記第２再構成データと、前記第２表現とを処理して、前記第３品質レベルの前記第３表現を生成する段階と
を備える、項目１から１７のいずれか一項に記載の方法。
［項目１９］
前記データストリームを少なくとも１つの宛先に送信する段階と
を更に備える、項目１から１８のいずれか一項に記載の方法。
［項目２０］
前記データストリームを前記少なくとも１つの宛先に送信する段階は、
前記データストリームを、前記複数の第１部分のみをデコードする第１宛先へ送信して、前記第１表現を再生成し再生する段階と、
前記データストリームを、前記複数の第１部分と前記複数の第２部分とをデコードする第２宛先へ送信する段階と
を有し、
前記第２宛先は、デコードされた、前記複数の第１部分に基づき前記第１表現を再生成し、
前記第２宛先は、デコードされた、前記複数の第２部分を前記第１表現に適用して、前記第２表現を生成し再生する、項目１９に記載の方法。

Claims (15)

1. コンピュータプロセッサハードウェアを介し、
   受信したデータストリームをデコードデータおよびエンコードデータへとパーシングする段階であって、前記デコードデータは、信号の第１表現に関連付けられた複数の設定を指定する、パーシングする段階と、
   前記信号の前記第１表現を生成すべく前記デコードデータを利用する段階と、
   前記エンコードデータを再構成データへとデコードすべくデコーダを実装する段階であって、前記再構成データは前記信号の前記第１表現をどのように変更するかを指定する、実装する段階と、
   前記信号の第２表現を生成すべく前記再構成データを前記信号の前記第１表現に適用する段階と、
   を備える、方法。
2. 前記エンコードデータが、階層的エンコードフォーマットに従ってエンコードされ、当該階層的エンコードフォーマットにおいてデータは、階層における異なる複数の解像度に従ってエンコードされる、請求項１に記載の方法。
3. 前記再構成データを生成すべく複数のアップサンプリング処理を適用する段階を更に備え、
   前記複数のアップサンプリング処理は、より低い解像度の複数の表示要素設定をより高い解像度の複数の表示要素設定へと変換する、請求項２に記載の方法。
4. 前記信号は、複数の表示要素のための複数の設定を指定するビデオ信号であり、
   前記信号の前記第２表現は、前記信号の前記第１表現より高い品質レベルを有し、
   前記信号の前記第２表現は、前記信号の前記第１表現と同じ表示要素解像度を有する、請求項１に記載の方法。
5. 前記エンコードデータをデコードすべく前記デコーダを実装する段階は、
   前記エンコードデータにより指定される複数のアップサンプリング処理を特定する段階と、
   前記信号の前記第２表現より実質的に高い表示要素解像度を有する前記信号の第３表現を生成すべく、前記複数のアップサンプリング処理を前記信号の前記第２表現に適用する段階と
   を有する、請求項１に記載の方法。
6. 前記信号の前記第３表現は、前記より実質的に高い表示要素解像度での前記信号の予備表現であり、
   前記デコーダを実装する段階が、前記より実質的に高い表示要素解像度の前記信号の前記予備表現を変更すべく、前記再構成データを利用する段階をさらに有し、
   前記信号の変更された前記予備表現は、前記信号の前記予備表現より高い品質レベルを有する、請求項５に記載の方法。
7. 前記エンコードデータが、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）フォーマットに従ってデコードされる、請求項１に記載の方法。
8. 前記エンコードデータが、非圧縮ビデオデータを備える、請求項１に記載の方法。
9. 前記エンコードデータが、ハフマンエントロピーデコーディング法及びランレングス（ＲＬＥ）デコーディング法の組み合わせによりデコードされる、請求項１に記載の方法。
10. 前記エンコードデータが、スタティックレンジエントロピーデコーダを介して、または、再構成データにおいて指定されるシンボル確率分布に従って静的算術エントロピーデコーダを介して、デコードされる、請求項１に記載の方法。
11. 前記第２品質レベルでの前記信号の予測表現を生成する段階は、前記第１品質レベルでの前記信号の前記表現を第１残余セットと組み合わせる段階と、複数のアップサンプリング処理により前記第１品質レベルでの前記信号の前記表現をアップサンプリングする段階と、を含む、請求項１に記載の方法。
12. 残余データセットは前記信号の複数のフレームに亘る時間的継承に従って生成され、
    前記方法が、フレームのための残余データを、異なるフレームのためにデコードされた残余データに少なくとも部分的に基づきデコードする段階を備える、請求項１に記載の方法。
13. 前記再構成データは少なくとも第１残余データセットおよび第２残余データセットを含み、
    前記第１残余データセットは、前記信号の表現をどのように第１表示要素解像度で変更するかを指定し、前記第２残余データセットは、前記信号の表現をどのように第２表示要素解像度で変更するかを指定し、
    前記第２表示要素解像度は、前記第１表示要素解像度より高い、請求項１に記載の方法。
14. 前記方法が、
    前記信号の前記第１表現を変更し、前記信号の前記第２表現を生成すべく前記第１残余データセットを利用する段階と、
    前記信号の前記第２表現に基づき、前記第２表示要素解像度での前記信号の予備表現である前記信号の第３表現を生成する段階と、
    前記信号の前記第３表現を変更し、前記第２表示要素解像度での前記信号の第４表現を生成すべく、前記第２残余データセットを利用する段階と、
    を更に備える、請求項１３に記載の方法。
15. 前記第２残余データセットは変換された残余データから生成され、
    前記方法が、
    前記エンコードデータを量子化され変換された残余データへとデコードする段階と、
    変換された残余データを生成すべく、量子化された前記残余データを逆量子化する段階と、
    残余データを再生成すべく、前記変換された残余データと、前記信号の前記第２表現と、前記信号の前記第３表現とを処理する段階と、
    前記信号の前記第４表現を生成すべく、再生成された前記残余データを前記信号の前記第３表現に適用する段階と、
    をさらに備える、請求項１４に記載の方法。

Images