JP2009510938A

JP2009510938A - Ｈ．２６４および他の変換符号化情報の高能率部分復号化を可能にする映像符号化法

Info

Publication number: JP2009510938A
Application number: JP2008533642A
Authority: JP
Inventors: チェン、ペイソン; オグズ、セイフラー・ハリト
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2005-09-27
Filing date: 2006-09-27
Publication date: 2009-03-12
Also published as: KR20080066714A; WO2007038727A2; KR100984650B1; CN101310536B; JP2012231505A; EP1941742A2; WO2007038727A3; AR055185A1; TW200719726A; CN101310536A

Abstract

変換符号化データの効率的部分復号化を可能にするマルチメディアデータ処理方法及び装置を説明する。復号化装置は、マルチメディアデータに関連する変換係数を受信する。復号化装置は、復元の対象となる１セットのマルチメディアサンプルを決定する。復元の対象となる１セットのサンプルは一態様において、変換済みマルチメディアサンプルの行列のサブセットである。復号化装置は、マルチメディアサンプルの復元に使用する１セットの変換係数を決定する。一態様においては、変換係数の生成に使われた符号化方法に関連する部分基底画像が変換係数を用いてスケーリングされ、復元マルチメディアサンプルがもたらされる。

Description

［関係出願の相互参照］
３５Ｕ．Ｓ．Ｃ． §１１９に基づく優先権の主張
本特許出願は、これの指定代理人へ指定され、ここでの参照によりここに明示的に援用される、２００５年９月２７日に提出された仮出願第６０／７２１，３７７号、表題「ＥＲＲＯＲＣＯＮＣＥＡＬＭＥＮＴ（エラー隠蔽）」に対し優先権を主張する。

［発明の分野］
本発明は、マルチメディア信号処理を、より具体的には映像符号化及び復号化を、対象とする。

［関連する技術の説明］
映像符号器等のマルチメディア信号処理システムは、ＭＰＥＧ−ｘ規格やＨ．２６ｘ規格等の国際規格に基づく符号化法を用いてマルチメディアデータを符号化できる。かかる符号化法は一般的に、マルチメディアデータを伝送及び／または格納のため圧縮するものである。圧縮とは広義に、データから冗長性を取り除くプロセスである。

映像信号は一連の画像として説明でき、これはフレーム（全体画像）またはフィールド（インタレース映像信号は奇数または偶数の交互の画像ラインのフィールドを備える）を含む。ここで用いる用語「フレーム」は画像、フレーム、またはフィールドを指す。映像符号化法は、無損失または有損失圧縮アルゴリズムを用いて各フレームを圧縮することによって映像信号を圧縮する。フレーム内符号化（ここでイントラ符号化と呼ぶ）は、フレームを、そのフレームを用いて、符号化することを指す。フレーム間符号化（ここでインター符号化と呼ぶ）は、フレームを、他の「基準」フレームに基づき、符号化することを指す。例えば、映像信号はしばしば空間的冗長性を呈し、同一フレームの中で互いに近い映像フレームサンプル部分は少なくとも、互いに一致するか少なくともほぼ一致する、部分を有する。

映像符号器等のマルチメディアプロセッサは、フレームをブロックまたは「マクロブロック」に、例えば１６ｘ１６画素に、分割することによってフレームを符号化できる。符号器はさらに、各マクロブロックをサブブロックに分割できる。各サブブロックはさらに、さらなるサブブロックを備えることがある。例えば、１マクロブロックのサブブロックが１６ｘ８及び８ｘ１６サブブロックを含むことがある。８ｘ１６サブブロックのサブブロックは、８ｘ８サブブロックを含むことがある。ここで用いる用語「ブロック」は、マクロブロックまたはサブブロックを指す。

開発過程にある業界規格に基づく圧縮技術ひとつに、通称「Ｈ．２６４」映像圧縮と呼ばれものがある。Ｈ．２６４技術は、符号化映像ビットストリームの構文と同ビットストリームの復号化方法を定めている。Ｈ．２６４符号化プロセスの一態様においては、入力映像フレームが符号化に差し出される。フレームは、元の画像に対応するマクロブロックの単位で処理される。各マクロブロックはイントラモードかインターモードで符号化できる。復元済みのフレームか、または同一フレーム内の因果的近傍（causal neighbor）と呼ばれる復元済みの近傍ブロックの部分に基づき予測マクロブロックが形成される。イントラモードでは、あらかじめ符号化され、復号化され、復元された注目フレーム内の因果的サンプルからマクロブロックが形成される。符号化される注目マクロブロックから１つ以上の因果的近傍マクロブロックのマルチメディアサンプル(multimedia sample)が差し引かれることによって残差または差分マクロブロック、Ｄが得られる。この残差ブロックＤがブロック変換を用いて変換され、量子化されることにより、Ｘ、すなわち１セットの量子化変換係数（quantized transform coefficient）が得られる。これらの変換係数には配置換えとエントロピー符号化が行われる。エントロピー符号化係数は、マクロブロックを復号化するための他の情報とともに圧縮ビットストリームの一部となって受信装置へ送出される。

残念ながら、送信過程で１つ以上のマクロブロックにエラーが生じることがある。例えば、信号フェージング等の１つ以上の劣化伝送効果によって１つ以上のマクロブロックでデータの損失が生じることがある。このため、無線チャネルのようにエラーを被りやすいネットワーク上でマルチメディアコンテンツを送達する場合のエラー隠蔽（error concealment）が重要となっている。エラー隠蔽方式では映像信号に存在する空間的・時間的相関を利用する。エラーに遭遇する場合はエントロピー復号化のときにリカバリを行うことができる。例えばパケットエラーに遭遇すると、１つ以上のマクロブロックまたは映像スライス（通例隣接するマクロブロックのグループ）に関係するデータの全部または一部が失われることがある。１スライスの映像データが失われると、次のスライスで復号の再同期が行われ、損失スライスの不在ブロックは空間隠蔽（spatial concealment）により隠蔽できる。

復号化装置で利用できる復号化データは、あらかじめ復号化され復元された因果的近傍を含むので、空間隠蔽では通常、不在ブロックの隠蔽にあたって因果的近傍を使用する。損失ブロックの隠蔽にあたって因果的近傍を使用するひとつの理由は、特に高度にパイプライン化されたビデオハードウェア復号器コアを使用する場合に、次のスライスの不規則的復元（out-of-order reconstruction）とその後に続く注目スライスの損失部分の隠蔽がすこぶる非効率的だからである。非因果的近傍（non-causal neighbor）は空間隠蔽の改善にあたって有益な情報を提供できる。非因果的近傍マルチメディアサンプルの不規則的復元を提供する効率的方法が求められている。

［概要］
本発明のシステム、方法、及び装置は各々いくつかの態様を有し、ただひとつの態様が単独で本発明の望ましい属性を担うわけではない。添付の請求項によって表明される本発明の範囲を制限することなく、これより本発明の顕著な特徴を手短に説明する。この論述を検討した後には、特に「いくつかの態様の詳細な説明」と題された節を読んだ後には、本発明の代表的特徴から、エラー隠蔽の改善と効率の改善とを含む利点がマルチメディア符号化・復号化にいかに提供されるかが理解されるであろう。

マルチメディアデータを処理する方法が提供される。方法は、マルチメディアデータに関連する変換係数（transform coefficient）を受信することを含む。方法はさらに、復元の対象となる１セットのマルチメディアサンプルを決定することと、復元の対象となる前記マルチメディアサンプルに基づき１セットの受信変換係数（received transform coefficient）を決定することと、前記１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため変換係数の決定されたセットを処理することとを含む。

マルチメディアデータプロセッサが提供される。プロセッサは、マルチメディアデータに関連する変換係数を受信するよう構成される。プロセッサはさらに、復元の対象となる１セットのマルチメディアサンプルを決定し、復元の対象となる前記マルチメディアサンプルに基づき１セットの前記受信変換係数を決定し、且つ前記１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため前記１セットの決定された変換係数を処理するよう構成される。

マルチメディアデータを処理する装置が提供される。装置は、マルチメディアデータに関連する変換係数を受信する受信器を含む。装置はさらに、復元の対象となる１セットのマルチメディアサンプルを決定する第１の決定器（determiner）と、復元の対象となる前記マルチメディアサンプルに基づき１セットの前記受信変換係数を決定する第２の決定器と、前記１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため前記１セットの決定された変換係数を処理する生成器とを含む。

実行時にマシンにマルチメディアデータを処理させる命令を含むマシン可読媒体が提供される。命令は、マルチメディアデータに関連する変換係数を前記マシンに受信させる。命令はさらにマシンに、復元の対象となる１セットのマルチメディアサンプルを決定させ、復元の対象となる前記マルチメディアサンプルに基づき１セットの前記受信変換係数を決定させ、且つ前記１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため前記１セットの決定された変換係数を処理させる。

［特定の概念についての詳細な説明］
以降の詳細な説明は本発明の特定の代表的態様を対象とする。ただし本発明は、請求項によって規定され請求項の範囲に含まれる様々なやり方で具現できる。この説明では図面を参照するが、図面の全体を通じて同様の部分は同様の数字で示されている。

映像信号は、一連の画像、フレーム、またはフィールドの観点で特徴づけることができる。ここで用いる用語「フレーム」は、漸進的映像信号のフレームか、インタレース映像信号のフレームまたはフィールドを含む広義の用語である。

態様は、マルチメディア伝送システムの符号器と復号器とで処理を改善するシステム及び方法を含む。マルチメディアデータは、動画像、オーディオ、静止画像、または他の何らかの適当なタイプの視聴覚データの内１つ以上を含み得る。態様は、非因果的マルチメディアサンプル(non-causal multimedia sample)を復元することにより、そして復元されたサンプルを用いて損失または不正符号化マルチメディアデータの空間隠蔽を遂行することによりエラー隠蔽の改善を図りながら、映像データを効率的に復号化する装置及び方法を含む。例えば一態様に従い、損失または不正データのマルチメディア隠蔽データを推定する前に復元因果的及び／または非因果的近傍サンプルを生成すると、空間隠蔽の質を改善できることは判明している。いくつかの例においては、復元マルチメディアサンプルと、復元サンプルが当初符号化されたときの指向性インジケータ（directivity indicator）とをマルチメディア隠蔽データの推定に使用する。別の態様においては、空間エラー隠蔽(spatial error concealment)に用いるマルチメディアサンプル行列のサブセットを復元すると処理効率をさらに改善できることが判明している。いくつかの例においては、マルチメディアサンプルの復元とマルチメディア隠蔽データの推定とがプリプロセッサで遂行される。そして、効率的ビデオコアプロセッサで復号化される当初符号化された非因果的マルチメディアデータとともにマルチメディア隠蔽データを伝達でき、処理効率はさらに改善する。

マルチメディア通信システム
図１は、一態様に従いマルチメディア通信システム１００を図解する機能ブロック図である。システム１００は、ネットワーク１４０を介して復号化装置１５０と通信する符号化装置１１０を含む。符号化装置は一例において、外部ソース１０２からマルチメディア信号を受信し、その信号をネットワーク１４０上での送信のため符号化する。

この例の符号化装置１１０は、メモリ１１４とトランシーバ１１６とに結合されたプロセッサ１１２を備える。プロセッサ１１２はマルチメディアデータソースからのデータを符号化し、これをネットワーク１４０上での通信のためトランシーバ１１６へ提供する。

この例の復号化装置１５０は、メモリ１５４とトランシーバ１５６とに結合されたプロセッサ１５２を備える。プロセッサ１５２は、汎用プロセッサ、及び／またはデジタル信号プロセッサ、及び／または特定用途向けハードウェアプロセッサの内１つ以上を含み得る。メモリ１５４は、ソリッドステートまたはディスク方式ストレージ、または読み取り可能・書き込み可能ランダムアクセスメモリ装置の内１つ以上を含み得る。トランシーバ１５６はネットワーク１４０を介してマルチメディアデータを受信し、且つこれを復号化のためプロセッサ１５２に提供するよう構成される。トランシーバ１５６は一例において、無線トランシーバを含む。ネットワーク１４０は、イーサネット（登録商標）、電話（例えばＰＯＴＳ）、ケーブル、電力線、及び光ファイバシステムの内１つ以上を含む有線または無線通信システム、及び／または符号分割多重アクセス（ＣＤＭＡまたはＣＤＭＡ２０００）通信システム、周波数分割多重アクセス（ＦＤＭＡ）システム、ＧＳＭ／ＧＰＲＳ（汎用パケット無線サービス）／ＥＤＧＥ（強化データＧＳＭ環境）等の時分割多重アクセス（ＴＤＭＡ）システム、ＴＥＴＲＡ（地上基盤無線）モバイル電話システム、広帯域符号分割多重アクセス（ＷＣＤＭＡ）システム、高データレート（１ｘＥＶ−ＤＯまたは１ｘＥＶ−ＤＯゴールドマルチキャスト）システム、ＩＥＥＥ８０２．１１システム、ＭｅｄｉａＦＬＯシステム、ＤＭＢシステム、直交周波数分割多重アクセス（ＯＦＤＭ）システム、またはＤＶＢ−Ｈシステムの内１つ以上を備える無線システムの内、１つ以上を備えてよい。

図２Ａは、図１に図解されたシステム１００等のシステムで使用できる復号化装置１５０の一態様を図解する機能ブロック図である。この態様の復号器１５０は、受信素子２０２と、マルチメディアサンプル決定素子(sample determiner element)２０４と、変換係数決定素子２０６と、復元サンプル生成素子２０８と、マルチメディア隠蔽推定素子２１０とを備える。

受信器２０２は符号化映像データ（例えば、図１の符号器１１０によって符号化されたデータ）を受信する。受信器２０２は、図１のネットワーク１４０等、有線または無線ネットワーク上で符号化データを受信できる。一態様において、受信データはソースマルチメディアデータを表す変換係数を含む。変換係数は、近傍サンプルの相関性が大幅に減少する領域に変換される。例えば画像は通常、空間領域において高度な空間的相関を呈する。他方、変換された係数は通常、互いに直交し、ゼロの相関性を呈する。マルチメディアデータに使用できる変換のいくつかの例として、ＤＣＴ（離散コサイン変換）、ＤＦＴ（離散フーリエ変換）、アダマール（またはウォルシュ・アダマール）変換、離散ウェーブレット変換、ＤＳＴ（離散サイン変換）、ハール変換、スラント変換、ＫＬ（カルーネン・レーベ）変換、Ｈ．２６４で使われている整数変換等の整数変換があり、ただしこれらに限定されない。これらの変換はマルチメディアサンプルの行列または配列を変換するために使われる。二次元行列がよく使われるが、一次元配列が使われることもある。受信データはまた、符号化ブロックがどのように符号化されたかを伝える情報を含む。かかる情報は、動きベクトルやフレームシーケンス番号等のインター符号化参照情報、ブロックサイズや空間予測指向性インジケータを含むイントラ符号化参照情報、その他を含み得る。一部の受信データは、各々の変換係数がどのように四捨五入されたかを伝える量子化パラメータ、変換済み行列の中でゼロ以外の変換係数がいくつあるかを伝える非ゼロインジケータ、その他を含む。

マルチメディアサンプル決定器２０４は、復元の対象となるマルチメディアサンプルがどれかを決定する。マルチメディアサンプル決定器２０４は一態様において、隠蔽できる損失マルチメディアデータ領域に近い及び／または隣接する、近傍マルチメディアサンプルまたは画素を決定する。マルチメディアサンプル決定器は一例において、エラーやチャネル損失のためデータの一部が失われたスライスまたはブロックグループの境界に近接する画素を識別する。マルチメディアサンプル決定器２０４はいくつかの例において、決定された画素から空間的に予測される近傍ブロックの復元に関連する最小数の画素を識別する。例えば圧縮マルチメディアデータは、個々のブロック（例えば、８ｘ８画素ブロック、及び／または４ｘ４画素ブロック）または行列の変換がもたらす変換係数のブロックを備えることがある。マルチメディアサンプル決定器２０４は、復元の対象となる変換済みブロックのマルチメディアサンプルの特殊サブセットを識別でき、これは損失データの隠蔽に使われるか、それらのサンプルから予測される他のブロック内の他の符号化マルチメディアサンプルの復元に使われる。決定されたマルチメディアサンプルは、非因果的サンプル及び／または因果的サンプルを含むことがある。

変換係数決定器２０６は、マルチメディアサンプル決定器２０４によって復元対象と決定されたマルチメディアサンプルの一部または全部の復元に使われる１セットの変換係数を決定する。使用すべき変換係数がどれかの決定は、変換係数の生成に使われた符号化方法に依存する。変換係数決定はまた、復元されるマルチメディアサンプルがどれかと、値がゼロの変換係数の有無に依存する（これによりそれらを使用する必要をなくす）。マルチメディアサンプルを復元するにあたってどの変換係数が十分であるかの詳細は後述する。

復元サンプル生成器２０８は、マルチメディアサンプル決定器２０４によって決定されたサンプルに基づきマルチメディアサンプルを復元する。復元サンプルのセットは、全ＮｘＮサンプル行列等、セット全体であってよく、ここでＮは整数である。サンプルのセットは、行、列、行または列の一部、対角線等、ＮｘＮ行列のサンプルのサブセットであってよい。復元サンプル生成器２０８は、変換係数決定器２０６によって決定された変換係数をサンプルの復元に使用する。復元サンプル生成器２０８はまた、変換係数の符号化に使われた符号化方法に基づく情報をマルチメディアサンプルの復元に使用する。復元サンプル生成器２０８によって遂行される動作の詳細は後述する。

マルチメディア隠蔽推定器（multimedia concealment estimator）２１０は、送信／受信中のエラーに伴い失われた、または変化した、マルチメディアデータ領域を置き換えるため、または隠蔽するため、復元サンプル生成器２０８によって計算された復元サンプルを使って隠蔽マルチメディアサンプル(concealment multimedia sample)を形成する。マルチメディア隠蔽推定器２１０は一態様において、隠蔽マルチメディアサンプルを形成するため復元サンプル値を使用する。マルチメディア隠蔽推定器２１０は別の態様において、マルチメディア隠蔽データを推定するにあたって、復元サンプル値と、受信空間予測指向性モードインジケータ（directivity mode indicator）とを使用する。本願の被指定代理人に指定された出願第１１／１８２，６２１号（現在の公開特許出願Ｕ．Ｓ．２００６／００１３３２０）「ＭＥＴＨＯＤＳＡＮＤＡＰＰＡＲＡＴＵＳＦＯＲＳＰＡＴＩＡＬＥＲＯＲＣＯＮＣＥＡＬＭＥＮＴ（空間エラー隠蔽のための方法及び装置）」に空間エラー隠蔽のさらなる詳細を見ることができる。

いくつかの態様において、図２Ａの復号器１５０の素子の内１つ以上は、配置を変える、及び／または組み合わせる、ことができる。これらの素子はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはこれらの組み合わせによって実装できる。復号器１５０の素子によって遂行される動作の詳細は、後ほど図３及び４に図解された方法を参照しながら説明する。

図２Ｂは、図１に図解されたシステム等で使用できる復号化装置のコンピュータプロセッサシステムの一例を図解するブロック図である。この例の復号化装置１５０は、プリプロセッサ素子２２０と、ランダムアクセスメモリ（ＲＡＭ）素子２２２と、デジタル信号プロセッサ（ＤＳＰ）素子２２４と、ビデオコア素子２２６とを含む。

プリプロセッサ２２０は一態様において、図２Ａの様々な素子によって遂行される動作の内１つ以上を遂行するため使用される。プリプロセッサは映像ビットストリームを解析し、データをＲＡＭ２２２へ書き込む。加えて、プリプロセッサ２２０は一態様において、マルチメディアサンプル決定器２０４、変換係数決定器２０６、復元サンプル生成器２０８、及びマルチメディア隠蔽推定器２１０の動作を実施する。これらのより効率的で演算上の負担がより少ない動作をプリプロセッサ２２０で遂行することにより、演算上の負担がより大きい映像復号化は効率性の高いビデオコア２２６で因果的順序（ｃａｕｓａｌｏｒｄｅｒ）で果たすことができる。

ＤＳＰ２２４はＲＡＭ２２２に格納された解析済み映像データを引き出し、これをビデオコア２２６で取り扱われる形に再編する。ビデオコア２２６は、脱量子化(dequantization)（リスケーリング(rescaling)またはスケーリング(scaling)とも呼ばれる）、逆変換・ブロック解除機能、その他の映像解凍機能を遂行する。ビデオコアは通常、高度に最適化・パイプライン化された形で実装される。このため映像データは、これが因果的順序で復号化される場合に、最も速く復号化できる。マルチメディアサンプルの不規則的復元とその後に続く空間隠蔽とをプリプロセッサで遂行することにより、ビデオコアにおける復号化にあたって因果的順序は維持され、全体的復号化性能の向上が可能となる。

図３は、図１に図解されたシステム等で映像ストリームの一部分を復号化する方法の一例を図解するフローチャートである。プロセス３００は、図２Ａ及び２Ｂに示された例等の復号化装置によって遂行できる。プロセス３００は、選択されたマルチメディアサンプルの復元を可能にする。プロセス３００は、マルチメディアサンプルを因果的順序で復元することに使用でき、ここで他の符号化マルチメディアデータは因果的データから推測され、それ自体の復元に先立ち因果的データの復元を必要とする場合がある。プロセス３００は、マルチメディアサンプルを非因果的順序で復元することに使用できる。一態様においては非因果的データが復元されることにより、その後に続く全マルチメディアデータ（因果的及び非因果的）の復元をより効率的且つタイムリーに行うことができる。

プロセス３００はブロック３０５で始まり、ここで復号化装置はマルチメディアデータビットストリームに関連する変換係数を受信する。復号化装置は、図１に示すネットワーク１４０等、有線及び／または無線ネットワーク上で変換係数を受信できる。変換係数は、クロミナンスやルミナンス等、色及び／または輝度パラメータを含むマルチメディアサンプルを表すことがある。変換係数の生成に用いる変換には、ＤＣＴ（離散コサイン変換）、ＤＦＴ（離散フーリエ変換）、アダマール（またはウォルシュ・アダマール）変換、離散ウェーブレット変換、ＤＳＴ（離散サイン変換）、ハール変換、スラント変換、ＫＬ（カルーネン・レーベ）変換、Ｈ．２６４で使われている整数変換等の整数変換があり、ただしこれらに限定されない。マルチメディアサンプルは、符号化中に変換係数が生成されるときに一次元配列及び／または二次元行列等のグループで変換できる。変換済み係数はイントラ符号化でき、空間予測を含む場合とそうでない場合とがある。変換係数の生成にあたって空間予測が使われた場合、変換係数は、基準値によって提供される予測子の誤差である残差値を表すことがある。変換係数は量子化できる。変換係数はエントロピー符号化できる。図２Ａの受信素子２０２はブロック３０５の動作を遂行できる。

プロセス３００は変換係数を受信した後にブロック３１０で継続し、ここで復号化装置は、復元の対象となる１セットのマルチメディアサンプルを決定する。復元の対象となるマルチメディアサンプルは、ルミナンスサンプルとクロミナンスサンプルを含むことがある。いくつかの例においては、ブロック３０５で受信するマルチメディアビットストリームを復号化するときに同期の喪失を受けて１セットの復元対象マルチメディアサンプルが決定される。同期の喪失は、不正受信によって、またはマクロブロックの第１のスライスの中にあるマルチメディアサンプルに対応する符号化データの一部または全部の損失によって、生じる。復元の対象となる決定されたマルチメディアサンプルがマクロブロックの第２のスライスの中に含まれることがある。マクロブロックの第２のスライスは、マクロブロックの第１のスライスの損失部分の少なくとも一部分には隣接する。決定されるマルチメディアサンプルは、上述したとおりマルチメディアサンプルの損失部分に対し因果的または非因果的である。

一態様において、ブロック３１０で復元対象として決定されるマルチメディアサンプルは、隠蔽すべき損失マルチメディアデータ部分に隣接する他のマルチメディアサンプルの復元を可能にする。例えば、ブロック３１０で復元対象として決定される１セットの決定されたマルチメディアサンプルを基準にして、別のマクロブロックスライスの底部にあるイントラ符号化マクロブロックを空間的に予測できる。したがって、イントラ符号化ブロックと強く相関する１セットの決定されたマルチメディアサンプルを復元することにより、隠蔽プロセスを通じてイントラ符号化ブロックそのものを復元できる。別の態様において、ブロック３１０で復元対象として決定されるマルチメディアサンプルは、スライス境界上にあるサンプルを、またはスライス境界の近くにあるサンプルを、備えることがある。復元対象サンプルは、符号化のときにグループとして変換された関連マルチメディアサンプルの行列全体を備えることがある。復元対象サンプルはまた、行、列、対角線、またはこれらの部分及び／または組み合わせ等、関連マルチメディアサンプル行列の一部分を備えることがある。図２Ａのマルチメディアサンプル決定器２０４はブロック３１０の動作を遂行できる。復元されるマルチメディアサンプルのサブセットの詳細は後述する。

プロセス３００はブロック３１５で継続し、ここで復号化装置は、ブロック３１０で復元対象として決定されたマルチメディアサンプルに関連する１セットの変換係数を決定する。復元に使用するべき変換係数がどれかの決定は、変換係数の生成に使われた符号化方法に依存する。変換係数決定はまた、復元されるマルチメディアサンプルがどれなのかに依存する。例えば、ブロック３１０で１セットのマルチメディアサンプルがそっくり復元の対象として決定されることもあれば、サブセットが復元対象として決定されることもある。ブロック３１５における変換係数決定はまた、値がゼロの変換係数の有無に依存する（これによりそれらを使用する必要をなくす）。マルチメディアサンプルを復元するにあたってどの変換係数が十分であるかの詳細は後述する。図２Ａの変換係数決定器はブロック３１５の動作を遂行できる。

復元の対象となる１セットのマルチメディアサンプルをブロック３１０で決定し、さらに決定されたマルチメディアサンプルに関連する１セットの変換係数をブロック３１５で決定した後、プロセス３００はブロック３２０へ進む。復号化装置はブロック３２０で、復元マルチメディアサンプルを生成するため１セットの決定変換係数を処理する。遂行される処理は、変換係数の生成に使われた符号化方法に依存する。処理は、変換係数を逆変換することを含み、ただしエントロピー復号化、脱量子化（リスケーリングまたはスケーリングとも呼ばれる）、その他を含みただしこれらに限定されない他の動作を含むこともある。ブロック３２０で遂行される処理の例の詳細は、後ほど図４を参照しながら説明する。

いくつかのシステム例において、プロセス３００の動作の一部または全部は、図２Ｂに示すプリプロセッサ２２０等、プリプロセッサで遂行される。プロセス３００のいくつかのブロックの組み合わせ、省略、配置換え、またはそれらの組み合わせが可能であることに注意されたい。

図４は、図１に図解されたシステム等で映像ストリームの一部分を復号化する方法のもうひとつの例をより詳細に図解するフローチャートである。プロセス例４００は、プロセス３００のブロック３０５乃至３２０で遂行される動作をすべて含む。ブロック３０５、３１０、及び３１５は、図３に示された上述の例と変わりない。プロセス４００では、復元サンプルを生成するため変換係数の処理が行われるプロセス３００のブロック３２０がより詳細に図解されており、ここで同プロセスは４つのブロック４０５、４１０、４２０、及び４２５を備える。プロセス４００はまた、追加のブロックを、すなわち隠蔽マルチメディアサンプルを推定するブロック４３０と、推定された隠蔽マルチメディアサンプルに基づき変換係数を生成するブロック４３５とを含む。

復号化装置は、ブロック３０５、３１０、及び３１５の動作を、上述と同様のやり方で遂行する。ブロック３２０の詳細例が示されており、ここではマルチメディアサンプルを効率よく復元するため、変換係数に基底画像が関連づけられる。復号化装置はブロック４０５で変換係数をグループに分割し、ここで変換係数のグループは、ブロック３０５で復元の対象として決定されたマルチメディアサンプルに関連する。変換係数のグループは一態様において、復元の逆変換プロセスで共通の基底画像を修正（または重み付け）する変換係数を備える。変換係数がどのようにグループに分割されるかの詳細は、Ｈ．２６４を用いる一例との関係で後ほど説明する。

復号化装置はブロック４１０で、係数を生成した符号化方法に基づき各分割グループに関連する加重値を計算する。一態様において、重みは各グループのスケール化変換係数の和である。スケーリングは符号化方法の逆変換特性を再現する。加重値のスケーリングと計算の例は、Ｈ．２６４例との関係で後ほど説明する。

ブロック４２０では、符号化変換方法に基づき各グループの基底画像を決定する。基底画像は通常ならば二次元直交行列だが、一次元配列が使われることもある。二次元基底画像の部分が使用され、それらの部分はどのマルチメディアサンプルが復元されるかに依存する（ブロック３１０で決定）。ブロック４１０で各グループにつき計算される値は、ブロック４２５で関連基底画像を修正（または重み付け）するのに使われる。ブロック４２５では、全ての加重基底画像を組み合わせることによってマルチメディアサンプルが復元される。ブロック４２０及び４２５の詳細は、後ほどＨ．２６４の例を参照しながら説明する。

プロセス４００は、復元マルチメディアサンプルを生成した後にブロック４３０で継続し、ここで復号化装置は、いくつかの例においては復元サンプルに基づき隠蔽マルチメディアサンプルを推定する。一態様においては、隠蔽マルチメディアデータを形成するため、マルチメディアサンプルの復元サンプル値を使用する。別の態様においては、マルチメディア隠蔽データを形成するため、復元サンプル値と受信空間予測指向性モードインジケータとを使用する。本願の被指定代理人に指定された出願第１１／１８２／６２１号（現在の公開特許出願Ｕ．Ｓ．２００６／００１３３２０）「ＭＥＴＨＯＤＳＡＮＤＡＰＰＡＲＡＴＵＳＦＯＲＳＰＡＴＩＡＬＥＲＯＲＣＯＮＣＥＡＬＭＥＮＴ（空間エラー隠蔽のための方法及び装置）」に空間エラー隠蔽のさらなる詳細を見ることができる。

いくつかの例においては、推定された隠蔽マルチメディアサンプルがそのまま使用され、表示される同一フレームの復元データを収容するフレームバッファに挿入される。別の例においては、ブロック４３５で推定隠蔽マルチメディアサンプル（estimated concealment multimedia sample）を表す変換係数を生成するため、符号化プロセスを再現するやり方で推定隠蔽マルチメディアサンプルが変換される。そして、これらの変換済み係数は、あたかもそれらが通常の符号化サンプルであるかのように、復号化されていない（まだ符号化されている）ビットストリームの中に挿入される。そして、図２Ｂのビデオコア２２６等の映像復号器コアへビットストリーム全体が転送され、復号化される。これらの例で、プロセス４００の全部または一部は図２Ｂのプリプロセッサ２２０等のプリプロセッサで遂行できる。復元と隠蔽推定を遂行するこの方法は、非因果的部分の復元にとりわけ有効であり、復元された非因果的部分はその後、チャネルエラーのため失われた他のマルチメディアデータ部分を隠蔽するため使用される。これよりマルチメディアサンプル復元の効率を上げるための方法の詳細を、Ｈ．２６４符号化マルチメディアビットストリームとの関係で説明する。

Ｈ．２６４ビットストリームにおける高能率部分イントラ復号化
Ｈ．２６４の空間予測は近傍画素ブロックの空間相関を利用する。空間予測モードは、４ｘ４、８ｘ８、または１６ｘ１６画素ブロックの左と上の因果的近傍を空間予測に使用する。Ｈ．２６４はルミナンス値のため２つの空間予測モードを、すなわち４ｘ４画素ブロックのためのモード（ここでイントラ４ｘ４符号化と呼ぶ）と、１６ｘ１６画素マクロブロックのためのモード（ここでイントラ１６ｘ１６符号化と呼ぶ）とを提供する。他の因果的及び非因果的近傍サンプルも空間予測に使用できることに注意されたい。

図５は、４ｘ４画素ブロック５０２と、これを左と上とで取り囲む、５０４で概括的に示された、因果的近傍画素の詳細図を示す。例えばＨ．２６４符号化プロセスでは、ブロック５０２の画素を説明する様々な予測子、値、及び／またはパラメータを生成するため因果的近傍画素５０４を使用する。ブロック５０２は画素（ｐ０〜ｐ１５）を備え、因果的近傍画素５０４は参照標識ｎ３、ｎ７、ｎ１１、ｎ１２、ｎ１３、ｎ１４、及びｎ１５を用いて識別されており、ここでの数字はブロック５０２の画素の類似部分に対応する。

Ｈ．２６４で提供される空間予測モードは、様々な因果的近傍画素５０４からブロック５０２を空間的に予測するため様々な指向性モードを使用する。図６は、Ｈ．２６４におけるイントラ符号化ブロックの指向特性の説明に役立つ９つの指向性モード（０〜８）を図解する指向性モード図６００を示す。ブロック５０２の空間予測の指向特性を説明するには９つの指向性モード（インジケータ）を使用する。例えば、モード０は垂直指向特性を説明し、モード１は水平指向特性を説明し、モード２はＤＣ特性を説明し、この場合は使用可能因果的近傍画素の平均値を予測の基準として使用する。ＤＣモードでは平均の計算にあたって同一スライス内の因果的近傍画素（４ｘ４、８ｘ８、または１６ｘ１６画素ブロックのすぐ上と左に位置する画素）を使用する。例えば、もしも符号化されるブロックが上のスライスに隣接するなら、左の画素が平均化される。もしも符号化されるブロックが左と上の別のスライスに隣接するなら、ＤＣ平均として値１２８を使用する（Ｈ．２６４で提供される８ビット値範囲の半分）。指向性モード図６００に図解されたモードは、Ｈ．２６４符号化プロセスでブロック５０２の予測値を生成するため使用される。

Ｈ．２６４のイントラ４ｘ４符号化では、９つの指向性モードのいずれかを使用し、４ｘ４ブロックの左と上の画素を基準にしてルミナンス値を符号化できる。イントラ１６ｘ１６符号化では、１６ｘ１６画素ブロック全体の左と上の画素を基準とし、４つのモード、すなわちｉ）垂直（モード０）、ｉｉ）水平（モード１）、ｉｉｉ）ＤＣ（モード２）、及びｉｖ）平面（モード３）を使用し、ルミナンス値を符号化できる。平面予測モードでは、ルミナンス値がマクロブロックにわたって空間的に滑らかに変化すると仮定し、基準は平面式に基づき形成される。クロミナンスの場合は１つの予測モード、８ｘ８がある。イントラ８ｘ８クロミナンス符号化では、イントラ１６ｘ１６符号化と同じモード、すなわちｉ）垂直（モード０）、ｉｉ）水平（モード１）、ｉｉｉ）ＤＣ（モード２）、及びｉｖ）平面（モード３）で８ｘ８ブロックを予測できる。これよりＨ．２６４で符号化される予測ブロックの復元の詳細を説明する。

予測（イントラまたはインター）符号化４ｘ４（ルミナンスまたはクロミナンス）ブロックの中で復元される信号は次のとおりに表すことができ、

ここでｒ、ｐ、及び

はそれぞれ復元信号（元の非圧縮信号ｓに対する近似）と、予測信号と、圧縮残差信号（元の非圧縮残差信号に対する近似：Δ＝ｓ−ｐ、ここでｓは元の信号）とを表し、いずれもこの例においては整数値の４ｘ４行列である。残差値

は、変換係数の逆変換によって復元できる。予測値ｐは、因果的近傍画素の符号化に用いる空間予測モードに応じて因果的近傍画素から得る。

スライス境界の直下に位置するイントラ４ｘ４符号化マクロブロック内の画素（Ｈ．２６４における非因果的近傍）の復元にかかわる考察を以下に示す。１６ｘ１６マクロブロックにおいて、これらのブロックはスライス境界の直下に位置する４つの最上位４ｘ４ブロックを含む。例えば、図９に示す１６ｘ１６画素マクロブロックで指標ｂ０、ｂ１、ｂ４、及びｂ５を持つブロックは、スライス境界ＡＡ’の直下のブロックに相当する。

図７は、スライス境界の直下に位置するイントラ４ｘ４符号化ブロックの一態様を示す。線ＡＡ’は言及したスライス境界をしるし、４ｘ４ブロック７０２は復元される注目ブロックである。スライス境界線ＡＡ’の上にある、通常ならばイントラ４ｘ４符号化で空間予測に使用できた９つの近傍画素７０４は、スライス境界の反対側に位置し、それ故別のスライスに属するから、使用できない。Ｈ．２６４では、スライスは再同期点として作用するので、スライス境界にまたがる空間予測やその他の予測符号化依存は許可されない。

図８は、近傍画素とイントラ４ｘ４符号化ブロックの中にある画素の名称を図解する。スライス境界ＡＡ’の上にある画素は空間予測に使用できないから、予測に使用できるブロック７０２の近傍画素は画素｛Ｉ，Ｊ，Ｋ，Ｌ｝である。これは、４ｘ４ブロック７０２の許容イントラ４ｘ４符号化予測モードが、ｉ）モード１（水平）、ｉｉ）モード２（ＤＣ）、及びｉｉｉ）モード８（水平−上）であることを意味する。もしも図７の線ＢＢ’によってもうひとつのスライス境界がしるされるなら、画素｛Ｉ，Ｊ，Ｋ，Ｌ｝または｛Ｍ，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，及びＨ｝はいずれも空間予測に使用できなくなる。この場合の許容イントラ４ｘ４符号化予測モードはモード２（ＤＣ）であり、ブロック７０２の全画素にとっての基準値は１２８である。

よって、スライス境界の直下に位置するイントラ４ｘ４符号化ブロックの画素の一部または全部を復号化し復元するための情報は、最も一般的なケースで、
１．イントラ４ｘ４予測モードインジケータと、
２．残差情報（量子化変換係数）と、
３．４ｘ４ブロックの左真横に位置する４つの近傍画素｛図８のＩ，Ｊ，Ｋ，Ｌ｝の値とを含む。

この十分なデータセットにより、注目４ｘ４ブロックの全画素値｛図８のａ，ｂ，ｃ，．．．，ｎ，ｏ，ｐ｝の復元は可能である。加えてこのデータセットは、画素サブセット｛ｄ，ｈ，ｌ，ｐ｝の値の復元にとっても十分であり、それらはさらに、右真横にある次の４ｘ４ブロックの復元に使用できる。

スライス境界の直下に位置するイントラ１６ｘ１６符号化マクロブロック内の画素（Ｈ．２６４における非因果的近傍）の復元にかかわる考察を以下に示す。ここでも関心は、スライス境界の直下に位置するイントラ１６ｘ１６符号化マクロブロックの４つの最上位４ｘ４ブロック（すなわち、図９でブロック指標ｂ０、ｂ１、ｂ４、及びｂ５を持つもの）にある。

図９は、スライス境界の下に位置するイントラ１６ｘ１６符号化マクロブロックの一態様を示す。線ＡＡ’は言及したスライス境界をしるし、ｂ０、ｂ１、ｂ４、及びｂ５の標識を持つ４つの４ｘ４ブロックは、復元にあたって検討される１６ｘ１６マクロブロックの部分をなす。線ＡＡ’の上にある、通常ならばイントラ１６ｘ１６空間予測に使用できた１７個の近傍画素は、スライス境界の反対側に位置し、それ故別のスライスに属するから、使用できない。この例で線ＢＢ’の左真横に位置する１６個の近傍画素の使用の見込みは、注目マクロブロックの許容イントラ１６ｘ１６符号化空間予測モードが、ｉ）モード１（水平）、及びｉｉ）モード２（ＤＣ）であることを意味する。例えば線ＢＢ’によってもうひとつのスライス境界（または映像フレームの左境界）がしるされる場合のように、線ＢＢ’の左真横に位置する１６個の近傍画素も、線ＡＡ’の上に位置する１７個の画素も使用できないなら、許容イントラ１６ｘ１６予測モードはモード２（ＤＣ）である。

注目マクロブロックがイントラ１６ｘ１６予測モード１（水平）を用いて符号化される場合は、注目１６ｘ１６マクロブロックの中で４つの最上位４ｘ４ブロックを復号化し復元するにあたって、線ＢＢ’の左真横、線ＡＡ’の下に位置する４つの最上位近傍画素で事足りる。これは、イントラ４ｘ４符号化マクロブロックで４つの最上位４ｘ４ブロックの復号化を可能にする上述の枠組みに一致する。

ただし、注目マクロブロックがイントラ１６ｘ１６空間予測モード２（ＤＣ）を使って符号化され、これがスライス境界の右真横になく、左フレーム境界沿いにもなければ、注目ＭＢの中で４つの最上位４ｘ４ブロック（ならびに行内の他の全て）を復号化し復元するため、線ＢＢ’の左真横に位置する全１６個の近傍画素が使われる。これは望ましくない状況である。一態様において、スライス境界の直下ではイントラ１６ｘ１６空間予測モード２（ＤＣ）による符号化を避けると有利である。スライス境界の下にある画素（例えば図８の画素Ｉ、Ｊ、Ｋ、及びＬ）の復元には４つの最上位近傍画素を使用するのが望ましい。

一態様において、スライス境界の直下に位置するマクロブロックのイントラ１６ｘ１６符号化は、それらがスライス境界の右真横に、または左フレーム境界に位置しない限り、空間予測モード１（水平）に限定するべきである。これにより、行内の全最上位４ｘ４ブロックの右端の４つの画素で演算効率の高い復元が可能となる。さらにこれは、行内の全最上位４ｘ４ブロックの４つの最上位画素で演算効率の高い復元を可能にする。

図１０は、スライス境界の直下に位置する８ｘ８クロミナンスブロックの一態様を示す。線ＡＡ’はスライス境界をしるし、線ＡＡ’のすぐ下、線ＢＢ’の右にある２つの４ｘ４ブロックは、２つのクロミナンスチャネル（Ｃｒ及びＣｂ）の一方のデータを構成する。この例で、スライス境界線ＡＡ’の上にある９つの近傍画素は、スライス境界の反対側に位置し、それ故別のスライスに属するから、空間予測に使用できない。線ＢＢ’の左真横に位置する８つの近傍画素を使用できることは、注目ＭＢの許容クロミナンスチャネルイントラ予測モードが、ｉ）モード０（ＤＣ）、及びｉｉ）モード１（水平）であることを意味する。線ＢＢ’もスライス境界か映像フレームの左境界なら、線ＢＢ’の左真横に位置する８つの近傍画素も、線ＡＡ’の直上に位置する９つの画素も空間予測に使用できない。この場合の許容クロミナンスチャネルイントラ予測モードはモード０（ＤＣ）である。

注目イントラ符号化マクロブロックのクロミナンスチャネルがイントラ８ｘ８クロミナンス水平予測モードを使って符号化される場合は、注目ＭＢの中で２つの最上位４ｘ４クロミナンスブロックを復号化し復元するにあたって、線ＢＢ’の左真横に位置する４つの最上位近傍画素が必要となる。１つの１６ｘ１６ルミナンスマクロブロックに対し２つの８ｘ８クロミナンスブロックがあることに注意されたい。

同様に、注目イントラ符号化マクロブロッククロミナンスチャネル（Ｃｒ及びＣｂ）がイントラ８ｘ８クロミナンス予測モード２（ＤＣ）を使って符号化される場合は、２つの最上位４ｘ４ブロックを復号化し復元するにあたって、線ＢＢ’の左真横に位置する８つの近傍画素で事足りる。これも上述した枠組みに一致する。

一態様において、スライス境界の直下に位置する、イントラ符号化マクロブロックのクロミナンスチャネル（Ｃｒ及びＣｂ）のイントラ８ｘ８符号化は、それらがスライス境界の右真横か左フレーム境界に位置しない限り、空間予測モード１（水平）に限定するべきである。これにより、行内の全最上位４ｘ４ブロックの右端の４つの画素で演算効率の高い復元が可能となる。さらにこれは、行内の全最上位４ｘ４ブロックの４つの最上位画素で演算効率の高い復元を可能にする。これは、イントラ符号化マクロブロックルミナンスチャネルで４つの最上位４ｘ４ブロックの復号化を可能にする上述の枠組みに一致する（イントラ４ｘ４符号化マクロブロックとイントラ１６ｘ１６符号化マクロブロックの両方、上述したとおり１６ｘ１６ＤＣ空間予測モードの使用には制約がある）。

Ｈ．２６４におけるイントラ符号化サンプルの効率的部分復号化
４ｘ４画素ブロックの右端の４つの画素の部分復号化により、最初の４ｘ４ブロックの右にあるイントラ符号化ブロックの画素の一部及び／または全部の復号化が可能になることを明らかにした。今度は、図８における位置｛ｄ，ｈ，ｌ，ｐ｝の最終画素値の復元に寄与する４ｘ４イントラ符号化ブロックの残差成分の第４の、すなわち最後の、列を効率的に復号化する問題を取り上げる。この例ではＨ．２６４整数変換の基底画像を使用する。ただし、これ以外の変換の基底画像を同様に操作し、同様の効率的部分復号化が可能になることに注意されたい。これらの方法を用いて部分的に復号化できる変換は、ＤＣＴ（離散コサイン変換）、ＤＦＴ（離散フーリエ変換）、アダマール（またはウォルシュ・アダマール）変換、離散ウェーブレット変換、ＤＳＴ（離散サイン変換）、ハール変換、スラント変換、ＫＬ（カルーネン・レーベ）変換を含み、ただしこれらに限定されない。

一般的に、変換行列［Ｔ］を用いて変換係数行列［ｗ］を求めるＮｘＮマルチメディアサンプル行列「Ｙ」の順方向変換は次の形をとる。

マルチメディアサンプル行列［Ｙ］を復元する逆変換は次の形をとる。

等式（３）及び（４）によって表される変換はそれぞれ、二次元（２Ｄ）変換に帰結する２つの一次元（１Ｄ）変換と考えることができる。例えば、［Ｙ］［Ｔ］行列乗算は１Ｄ行変換と考えることができ、［Ｔ］^Ｔ［Ｙ］行列乗算は１Ｄ列変換と考えることができる。組み合わせによって２Ｄ変換が形成される。ＮｘＮ行列［Ｙ］の２Ｄ変換のもうひとつの考えかたとして、変換行列［Ｔ］によって特徴づけられる２Ｄ変換に対応する２Ｄ基底画像により［Ｙ］のＮ^２内積を行うと、１セットの変換係数に等しい１セットのＮ^２値になる。

所与の変換［Ｔ］の基底画像は、変換係数のひとつを１に設定することにより、その他は全てゼロに設定することにより、そして係数行列の逆変換をとることにより、計算できる。例えば、４ｘ４変換係数行列［ｗ］を使用し、ｗ_１１係数を１に設定し、その他は全てゼロに設定し、Ｈ．２６４整数変換［Ｔ_Ｈ］を使用すると、等式（４）は次のとおりになる。

１６の（Ｎ^２）基底画像を重み付け（スケーリング）するため［ｗ］で個別の変換係数（重み）を使用することによって形成される１６（Ｎ^２、ここでＮ＝４）の行列を合計することにより、復元行列［Ｙ］全体を計算できる。行列全体を計算するにあたり、これは高速変換法と比べて効率のよい方法ではない。ただし、行、列等のサブセットの復元は、基底画像の使用により高速変換より効率よく果たすことができる。

残差４ｘ４ブロックのＨ．２６４４ｘ４整数変換プロセスと関連する１６の基底画像は次のとおりになり、ここでｓｉｊ（ｉ，ｊ∈｛０，１，２，３｝）は、ｉ番目の水平周波数チャネルとｊ番目の垂直周波数チャネルとに関連する基底画像である。

これらの１６の基底画像を念入りに調べると、スケール係数を除き、最後の列に４つの別個のベクトルがあることが分かる。４ｘ１行列／ベクトルである最後の列は四次元ベクトル空間の中にあり、正確に４つの基底ベクトルで表すことができるから、これは直観的に明白である。

ビットストリームの中で受信された量子化変換係数（すなわちレベル、ｚｉｊｉ，ｊ∈｛０，１，２，３｝）はリスケーリング（脱量子化）され、係数ｗ’ｉｊｉ，ｊ∈｛０，１，２，３｝が生成される。これらの脱量子化変換係数ｗ’ｉｊｉ，ｊ∈｛０，１，２，３｝は、逆変換プロセスを模擬するため（つまり、合成プロセスで基底画像に重み付けする重みを生成するため）、組み合わせのグループに分解でき、基底画像の最終列（またはベクトル）で乗算できる。この考察は、図８の位置｛ｄｈｌｐ｝に対応する４ｘ４残差信号

の最終列の復元式を次のとおりに書けることを意味する。

上の４セットの括弧の中で４通りのスカラ量組み合わせｗ’ｉｊを計算したら、右シフトと加算／減算を用いて各基底ベクトルのスケーリング／計算を完了できる。次に、復元サンプルの計算は単純である。フレームの左端かスライス境界の右真横から始めることにより、空間予測モード２（ＤＣ）を使用できること、そして全ての画素が１２８に等しい基準（または予測）値（上の等式（１）でｐを参照せよ）を持つことは分かっている。よって、この第１の最左ブロックで位置｛ｄｈｌｐ｝に対応する復元サンプル［ｒ_ｄｒ_ｈｒ_ｌｒ_ｐ］は次のとおりに計算できる。

ここで、復元残差値

は等式（７）で計算する。次に、このブロックの右にある４ｘ４ブロックは、左にあるブロックからしかるべき復元値を使用することによって計算でき、等式（１）の予測信号成分ｐが生成される（生成される予測信号値は、復元する４ｘ４ブロックの符号化に使われた空間予測モードがどれかに依存する）。今度は、スライス境界の下に位置する他の４ｘ４ブロックで予測値を計算する例を説明する。

図１１は、スライス境界の直下に位置するマルチメディアサンプルの一部分を図解する。画素はルミナンス値とクロミナンス値とを備えることができる。画素位置｛ｑｒｓｔ｝は、画素値［ｒ_ｑｒ_ｒｒ_ｓｒ_ｔ］^Ｔを持つ復元済みの位置を表す（例えば上の等式７を用いて計算）。画素位置｛ｄｈｌｐ｝の残差信号成分値

の復元後には、同じ位置｛ｄｈｌｐ｝の予測信号成分値［ｐ_ｄｐ_ｈｐ_ｌｐ_ｐ］^Ｔが生成され、等式（１）による復元は締めくくられる。画素｛ｄｈｌｐ｝を収容するイントラ４ｘ４符号化４ｘ４ブロックがスライス境界の直下にあるなら、この４ｘ４ブロックで予測信号の生成に使われたかもしれないイントラ４ｘ４空間予測モードは次のいずれかになる。

１．イントラ４ｘ４空間予測モード１（水平）：
図１１に関し、予測信号成分値は、０回の加算と、０回の算術シフトと、０回の乗算とを備える次式によって与えられる。

２．イントラ４ｘ４空間予測モード２（ＤＣ）：
もしも位置｛ｑｒｓｔ｝の画素が使用できないなら、予測信号成分値は、０回の加算と、０回の算術シフトと、０回の乗算とを備える次式によって与えられる。

もしも｛ｑｒｓｔ｝を使用できるなら、予測信号成分値は、４回の加算と、１回の算術シフトと、０回の乗算とを備える次式によって与えられる。

ここでｕ＝（（ｒ_ｑ＋ｒ_ｒ＋ｒ_ｓ＋ｒ_ｔ）＋２）＞＞２
３．イントラ４ｘ４空間予測モード８（水平−上）：
予測信号成分値は、６回の加算、４回の算術シフト、及び０回の乗算、または８回の加算、２回の算術シフト、及び０回の乗算を備える次式によって与えられる。

リスケーリングプロセス（ｗ’ｉｊｉ，ｊ∈｛０，１，２，３｝を生成するためｚｉｊｉ，ｊ∈｛０，１，２，３｝を脱量子化する）に関するもうひとつの考察は、演算上の大幅な節約につながるもうひとつの源泉を明らかにする。ｚｉｊｉ，ｊ∈｛０，１，２，３｝のスケーリングに使用するリスケーリング係数ｖｉｊｉ，ｊ∈｛０，１，２，３｝は、量子化パラメータに対するその依存性に加えて、４ｘ４行列の中で以下の位置関係構造を持ち、
ｖ００ｖ１０ｖ２０ｖ３０
ｖ０１ｖ１１ｖ２１ｖ３１
ｖ０２ｖ１２ｖ２２ｖ３２
ｖ０３ｖ１３ｖ２３ｖ３３
ここで、［ｖ００，ｖ２０，ｖ０２，ｖ２２］、［ｖ１１，ｖ３１，ｖ１３，ｖ３３］、及び［ｖ１０，ｖ３０，ｖ０１，ｖ２１，ｖ１２，ｖ３２，ｖ０３，ｖ２３］を含む３グループのリスケーリング係数はそれぞれ、所与の量子化パラメータＱＰ_Ｙに対し同じ値を持つ。これは、ｚｉｊからのｗ’ｉｊ生成に伴う乗算数を減らすため有利に利用できる。４ｘ４残差信号の最終列を復元する上記の重み付き基底ベクトル総和式（等式７）において、基底ベクトル［１１１１１］^Ｔを重み付けする第１の重みが、これら２つの重みの個々の値ではなく、ｗ’００とｗ’２０の和を含むことに注意されたい。したがって、２つの値ｗ’００及びｗ’２０を個別に計算し、それらを合計するなら、通常ならば２回の整数乗算を伴うことになるが、代わりにｚ００とｚ２０を先に加算し、この和をｖ００＝ｖ２０でリスケーリングすれば、（ｗ’００＋ｗ’２０）で１回の整数乗算により同じ最終値を得ることができる。

この部分復号化を実行する演算ステップの直接的な削減のほか、４ｘ４残差信号の所望の最終列と最初（最上位）の行を計算する高速アルゴリズムを設計することもできる。

この部分復号化プロセスで演算ステップ数の削減をもたらすもうひとつの事実として、ほとんどの場合、残差信号ブロックの中の最大１６の量子化係数の内、ごく僅かは、通常ならば５未満は、実際には非ゼロである。上述の内容と併せてこの事実を利用することにより、必要乗算数をさらに減らす（ほぼ半減させる）ことができる。

当業者なら、列、行、項、またはこれらの部分及び／または組み合わせを復元するため、上の等式（７）に類似する式を導き出せることを認めるであろう。例えば、基底画像の最上行の値（上の等式６ａ乃至６ｐ）に対応する変換係数ｗ’ｉｊを組み合わせることにより、左のブロックの同じ４つの画素位置｛ｄｈｌｐ｝に依存する、スライス境界の直下にある画素を復元できる（図１１で画素位置｛ＡＢＣＤ｝を参照せよ）。これらの方法を用いて復元できるマルチメディアサンプルの他のサブセットは、当業者にとって明白となるであろう。

図１２は、図１に図解されたシステム等で使用できる復号化装置１５０のもうひとつの例を図解する機能ブロック図である。この態様は、マルチメディアデータに関連する変換係数を受信する手段と、復元の対象となる１セットのマルチメディアサンプルを決定する第１の決定手段(determiner means)と、復元の対象となるマルチメディアサンプルに基づき１セットの受信変換係数を決定する第２の決定手段と、１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため１セットの決定された変換係数を処理する生成手段とを含む。この態様のいくつかの例は、受信手段が受信器２０２を備える場合と、第１の決定手段がマルチメディアサンプル決定器２０４を備える場合と、第２の決定手段が変換係数決定器２０６を備える場合と、生成手段が復元サンプル生成器２０８を備える場合とを含む。

図１３は、図１に図解されたシステム等で使用できる復号化装置１５０のもうひとつの例を図解する機能ブロック図である。この態様は、マルチメディアデータに関連する変換係数を受信する手段と、復元の対象となる１セットのマルチメディアサンプルを決定する第１の決定手段と、復元の対象となるマルチメディアサンプルに基づき１セットの受信変換係数を決定する第２の決定手段と、１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため１セットの決定された変換係数を処理する生成手段とを含む。この態様のいくつかの例は、受信手段が受信モジュール１３０２を備える場合と、第１の決定手段が復元対象サンプル決定モジュール１３０４を備える場合と、第２の決定手段が変換係数決定モジュール１３０６を備える場合と、生成手段が変換係数処理モジュール１３０８を備える場合とを含む。

当業者は、様々な技術・手法のいずれかを用いて情報と信号を表現できることを理解するであろう。例えば、上の説明の全体を通じて言及されているデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、またはこれらの組み合わせによって表現できる。

当業者はさらに、ここに開示する例との関係で説明した様々な例証的論理ブロック、モジュール、及びアルゴリズムステップを、電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、またはこれらの組み合わせとして実装できることを認めるであろう。このハードウェア及びソフトウェアの互換性を明確に例証するため、様々な例証的コンポーネント、ブロック、モジュール、回路、及びステップを、概してそれらの機能の観点から、上述した。かかる機能をハードウェアまたはソフトウェアとして実装するか否かは、特定のアプリケーションとシステム全体にかかる制約次第で決まる。当業者は、説明した機能をアプリケーションごとに異なるやり方で実装できるが、かかる実装決定は、開示される方法の範囲からの逸脱を招くものと解釈されるべきではない。

ここに開示する例との関係で説明した様々な例証的論理ブロック、コンポーネント、モジュール、及び回路は、ここで説明した機能を遂行するよう設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）またはその他プログラム可能論理素子、個別ゲートまたはトランジスタロジック、個別ハードウェアコンポーネント、またはこれらの組み合わせにより実装または遂行できる。汎用プロセッサはマイクロプロセッサであってよく、ただし代案において、プロセッサは従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってよい。プロセッサはまた、演算装置の組み合わせ、例えばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアまたはＡＳＩＣコアと連動する１つ以上のマイクロプロセッサ、または他の何らかのかかる構成として、実装できる。

ここに開示する例との関係で説明した方法またはアルゴリズムのステップは、ハードウェアで直接的に、プロセッサによって実行されるソフトウェアモジュールで、または両者の組み合わせで、具現できる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、光学式記憶媒体、または当技術で公知の他の何らかの形をとる記憶媒体の中にあってよい。代表的記憶媒体はプロセッサへ結合され、かくしてプロセッサは記憶媒体から情報を読み取ることができ、且つこれへ情報を書き込むことができる。代案において、記憶媒体はプロセッサへ一体化されてよい。プロセッサと記憶媒体は特定用途向け集積回路（ＡＳＩＣ）の中にあってよい。ＡＳＩＣは無線モデムの中にあってよい。代案において、プロセッサと記憶媒体は個別コンポーネントとして無線モデムの中にあってよい。

開示された例の先の説明は、当業者が開示された方法及び装置を製作または使用することを可能にするため提供されている。これらの例に対する様々な修正は当業者にとって容易く明白となるであろうし、ここに定める原理は他の例に応用でき、さらなる要素を追加できる。

以上、マルチメディアデータの高能率部分復号化を遂行する方法及び装置を説明した。

一態様に従いマルチメディア通信システムを図解するブロック図である。図１に図解されたシステム等で使用できる復号化装置の一態様を図解するブロック図である。図１に図解されたシステム等で使用できる復号化装置のコンピュータプロセッサシステムの一例を図解するブロック図である。図１に図解されたシステム等で映像ストリームの一部分を復号化する方法の一例を図解するフローチャートである。図１に図解されたシステム等で映像ストリームの一部分を復号化する方法のもうひとつの例をより詳細に図解するフローチャートである。４ｘ４ブロックとこれを取り囲む因果的近傍画素の詳細な図を示す。Ｈ．２６４におけるブロックの指向特性の説明に役立つ９つの指向性モード（０−８）を図解する指向性モード図を示す。１つ以上のスライス境界のすぐ下と右とに位置するイントラ符号化４ｘ４画素ブロックの一例を図解する。近傍画素とイントラ符号化４ｘ４画素ブロックの中にある画素の名称を図解する。スライス境界のすぐ下と右とに位置するイントラ符号化１６ｘ１６ルミナンスマクロブロックの一例を図解する。スライス境界のすぐ下と右とに位置するイントラ符号化８ｘ８クロミナンスブロックの一例を図解する。スライス境界のすぐ下に位置するマルチメディアサンプルの一部分を図解する。図１に図解されたシステム等で使用できる復号化装置のもうひとつの例を図解するブロック図である。図１に図解されたシステム等で使用できる復号化装置１５０のもうひとつの例を図解するブロック図。

Claims

マルチメディアデータを処理する方法であって、
前記マルチメディアデータに関連する変換係数を受信することと、
復元の対象となる１セットのマルチメディアサンプルを決定することと、
復元の対象となる前記マルチメディアサンプルに基づき１セットの前記受信変換係数を決定することと、
前記１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため前記１セットの決定された変換係数を処理することと、
を備える方法。
処理することは、前記１セットの前記変換係数をスケーリングすることを備える、請求項１に記載の方法。
前記変換係数をスケーリングすることは、脱量子化することを備える、請求項２に記載の方法。
前記１セットの決定されたマルチメディアサンプルは、他のマルチメディアサンプルの符号化にあたって基準となるマルチメディアサンプルを備える、請求項１に記載の方法。
前記１セットの決定されたマルチメディアサンプルは、第２のマルチメディアデータスライスに隣接する第１のマルチメディアデータスライス内にマルチメディアサンプルを備える、請求項１に記載の方法。
前記受信変換済み係数は、１セットとして変換されるマルチメディアサンプル行列と関連し、前記復元サンプルは、前記マルチメディアサンプル行列のサブセットを備える、請求項１に記載の方法。
処理することは、前記１セットの決定された変換係数を複数のグループに分割することを備える、請求項１に記載の方法。
前記処理することはさらに、各グループにつき値を計算することを備え、ここで前記計算は、前記変換係数を生成した符号化方法に基づく、請求項７に記載の方法。
前記処理することはさらに、
前記変換係数を生成した前記符号化方法に基づき各グループにつき配列を決定することと、
前記値と前記配列とに基づき前記マルチメディアデータの前記１セットの復元サンプルを生成することとを備える、請求項８に記載の方法。
前記復元サンプルに基づき１セットの隠蔽マルチメディアサンプルを推定することをさらに備える、請求項１に記載の方法。
前記１セットの推定隠蔽マルチメディアサンプルに対応する１セットの変換係数を生成することをさらに備える、請求項１０に記載の方法。
前記復元サンプルは、前記１セットの推定隠蔽マルチメディアサンプルに対し非因果的である、請求項１０に記載の方法。
さらに、
各復元サンプルに関連する指向性モードインジケータを受信することと、
前記復元サンプルと前記指向性モードインジケータとに基づき１セットの隠蔽マルチメディアサンプルを推定することとを備える、請求項１に記載の方法。
マルチメディアデータプロセッサであって、
マルチメディアデータに関連する変換係数を受信し、
復元の対象となる１セットのマルチメディアサンプルを決定し、
復元の対象となる前記マルチメディアサンプルに基づき１セットの前記受信変換係数を決定し、且つ
前記１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため前記１セットの決定された変換係数を処理するよう構成される、
マルチメディアデータプロセッサ。
前記マルチメディアデータプロセッサはさらに、前記１セットの決定された変換係数をスケーリングするよう構成される、請求項１４に記載のマルチメディアデータプロセッサ。
前記マルチメディアデータプロセッサはさらに、前記１セットの変換係数を脱量子化するよう構成される、請求項１４に記載のマルチメディアデータプロセッサ。
前記１セットのマルチメディアサンプルは、他のマルチメディアサンプルの符号化にあたって基準となるマルチメディアサンプルを備える、請求項１４に記載のマルチメディアデータプロセッサ。
前記１セットの決定されたマルチメディアサンプルは、第２のマルチメディアデータスライスに隣接する第１のマルチメディアデータスライス内にマルチメディアサンプルを備える、請求項１４に記載のマルチメディアデータプロセッサ。
前記受信変換済み係数は、１セットとして変換されるマルチメディアサンプル行列と関連し、前記復元サンプルは、前記マルチメディアサンプル行列のサブセットを備える、請求項１４に記載のマルチメディアデータプロセッサ。
前記マルチメディアデータプロセッサはさらに、前記１セットの決定された変換係数を複数のグループに分割するよう構成される、請求項１４に記載のマルチメディアデータプロセッサ。
前記マルチメディアデータプロセッサはさらに、各グループにつき値を計算するよう構成され、ここで前記計算は、前記変換係数を生成した符号化方法に基づく、請求項２０に記載のマルチメディアデータプロセッサ。
前記マルチメディアデータプロセッサはさらに、
前記変換係数を生成した前記符号化方法に基づき各グループにつき配列を決定し、且つ
前記値と前記配列とに基づき前記マルチメディアデータの前記１セットの復元サンプルを生成するよう構成される、請求項２１に記載のマルチメディアデータプロセッサ。
前記マルチメディアデータプロセッサはさらに、前記復元サンプルに基づき１セットの隠蔽マルチメディアサンプルを推定するよう構成される、請求項１４に記載のマルチメディアデータプロセッサ。
前記マルチメディアデータプロセッサはさらに、前記１セットの推定隠蔽マルチメディアサンプルに対応する１セットの変換係数を生成するよう構成される、請求項２３に記載のマルチメディアデータプロセッサ。
前記復元サンプルは、前記１セットの推定隠蔽マルチメディアサンプルに対し非因果的である、請求項２３に記載のマルチメディアデータプロセッサ。
前記マルチメディアデータプロセッサはさらに、
各復元サンプルに関連する指向性モードインジケータを受信し、且つ
前記復元サンプルと前記指向性モードインジケータとに基づき１セットの隠蔽マルチメディアサンプルを推定するよう構成される、請求項１４に記載のマルチメディアデータプロセッサ。
マルチメディアデータを処理する装置であって、
マルチメディアデータに関連する変換係数を受信する受信器と、
復元の対象となる１セットのマルチメディアサンプルを決定する第１の決定器と、
復元の対象となる前記マルチメディアサンプルに基づき１セットの前記受信変換係数を決定する第２の決定器と、
前記１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため前記１セットの決定された変換係数を処理する生成器と、
を備える、装置。
前記生成器は、前記１セットの決定された変換係数をスケーリングする、請求項２７に記載の装置。
前記生成器は、前記１セットの決定された変換係数を脱量子化する、請求項２７に記載の装置。
前記１セットのマルチメディアサンプルは、他のマルチメディアサンプルの符号化にあたって基準となるマルチメディアサンプルを備える、請求項２７に記載の方法。
前記１セットの決定されたマルチメディアサンプルは、第２のマルチメディアデータスライスに隣接する第１のマルチメディアデータスライス内にマルチメディアサンプルを備える、請求項２７に記載の方法。
前記受信変換済み係数は、１セットとして変換されるマルチメディアサンプル行列と関連し、前記復元サンプルは、前記マルチメディアサンプル行列のサブセットを備える、請求項２７に記載の装置。
前記生成器は、前記１セットの決定された変換係数を複数のグループに分割する、請求項２７に記載の装置。
前記生成器は、各グループにつき値を計算し、ここで前記計算は、前記変換係数を生成した符号化方法に基づく、請求項３３に記載の装置。
前記生成器は、前記変換係数を生成した前記符号化方法に基づき各グループにつき配列を決定し、且つ前記値と前記配列とに基づき前記マルチメディアデータの前記１セットの復元サンプルを生成する、請求項３４に記載の装置。
前記復元サンプルに基づき１セットの隠蔽マルチメディアサンプルを推定する推定器をさらに備える、請求項２７に記載の装置。
前記推定器は、前記１セットの推定隠蔽マルチメディアサンプルに対応する１セットの変換係数を生成する、請求項３６に記載の装置。
前記復元サンプルは、前記１セットの推定隠蔽マルチメディアサンプルに対し非因果的である、請求項３６に記載の装置。
前記受信器は、各復元サンプルに関連する指向性モードインジケータを受信し、前記装置はさらに、前記復元サンプルと前記指向性モードインジケータとに基づき１セットの隠蔽マルチメディアサンプルを推定する推定器を備える、請求項２７に記載の装置。
マルチメディアデータを処理する装置であって、
マルチメディアデータに関連する変換係数を受信する手段と、
復元の対象となる１セットのマルチメディアサンプルを決定する第１の決定手段と、
復元の対象となる前記マルチメディアサンプルに基づき１セットの前記受信変換係数を決定する第２の決定手段と、
前記１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため前記１セットの決定された変換係数を処理する生成手段と、
を備える、装置。
前記生成手段は、前記１セットの決定された変換係数をスケーリングする、請求項４０に記載の装置。
前記生成手段は、前記１セットの決定された変換係数を脱量子化する、請求項４０に記載の装置。
前記１セットのマルチメディアサンプルは、他のマルチメディアサンプルの符号化にあたって基準となるマルチメディアサンプルを備える、請求項４０に記載のマルチメディアデータプロセッサ。
前記１セットのマルチメディアサンプルは、第２のマルチメディアデータスライスに隣接する第１のマルチメディアデータスライス内にマルチメディアサンプルを備える、請求項４０に記載のマルチメディアデータプロセッサ。
前記受信変換済み係数は、１セットとして変換されるマルチメディアサンプル行列と関連し、前記復元サンプルは、前記マルチメディアサンプル行列のサブセットを備える、請求項４０に記載の装置。
前記生成手段は、前記１セットの決定された変換係数を複数のグループに分割する、請求項４０に記載の装置。
前記生成手段は、各グループにつき値を計算し、ここで前記計算は、前記変換係数を生成した符号化方法に基づく、請求項４６に記載の装置。
前記生成手段は、前記変換係数を生成した前記符号化方法に基づき各グループにつき配列を決定し、且つ前記値と前記配列とに基づき前記マルチメディアデータの前記１セットの復元サンプルを生成する、請求項４７に記載の装置。
前記復元サンプルに基づき１セットの隠蔽マルチメディアサンプルを推定する手段をさらに備える、請求項４０に記載の装置。
前記推定手段は、前記１セットの推定隠蔽マルチメディアサンプルに対応する１セットの変換係数を生成する、請求項４９に記載の装置。
前記復元サンプルは、前記１セットの推定隠蔽マルチメディアサンプルに対し非因果的である、請求項４９に記載の装置。
前記受信手段は、各復元サンプルに関連する指向性モードインジケータを受信し、前記装置はさらに、前記復元サンプルと前記指向性モードインジケータとに基づき１セットの隠蔽マルチメディアサンプルを推定する手段を備える、請求項４０に記載の装置。
命令を備えるマシン可読媒体であって、同命令は実行時にマシンに、
マルチメディアデータに関連する変換係数を受信させ、
復元の対象となる１セットのマルチメディアサンプルを決定させ、
復元の対象となる前記マルチメディアサンプルに基づき１セットの前記受信変換係数を決定させ、且つ
前記１セットの決定されたマルチメディアサンプルに対応する復元サンプルを生成するため前記１セットの決定された変換係数を処理させる、
マシン可読媒体。
前記命令はさらに、前記マシンに、前記１セットの決定された変換係数をスケーリングさせる、請求項５３に記載のマシン可読媒体。
前記命令はさらに、前記マシンに、前記１セットの決定された変換係数を脱量子化させる、請求項５３に記載のマシン可読媒体。
前記１セットのマルチメディアサンプルは、他のマルチメディアサンプルの符号化にあたって基準となるマルチメディアサンプルを備える、請求項５３に記載のマシン可読媒体。
前記１セットのマルチメディアサンプルは、第２のマルチメディアデータスライスに隣接する第１のマルチメディアデータスライス内にマルチメディアサンプルを備える、請求項５３に記載のマシン可読媒体。
前記受信変換済み係数は、１セットとして変換されるマルチメディアサンプル行列と関連し、前記復元サンプルは、前記マルチメディアサンプル行列のサブセットを備える、請求項５３に記載のマシン可読媒体。
前記命令はさらに、前記マシンに、前記１セットの決定された変換係数を複数のグループに分割させる、請求項５３に記載のマシン可読媒体。
前記命令はさらに、前記マシンに、各グループにつき値を計算させ、ここで前記計算は、前記変換係数を生成した符号化方法に基づく、請求項５９に記載のマシン可読媒体。
前記命令はさらに、前記マシンに、
前記変換係数を生成した前記符号化方法に基づき各グループにつき配列を決定させ、且つ
前記値と前記配列とに基づき前記マルチメディアデータの前記１セットの復元サンプルを生成させる、請求項６０に記載のマシン可読媒体。
前記命令はさらに、前記マシンに、前記復元サンプルに基づき１セットの隠蔽マルチメディアサンプルを推定させる、請求項５３に記載のマシン可読媒体。
前記命令はさらに、前記マシンに、前記１セットの推定隠蔽マルチメディアサンプルに対応する１セットの変換係数を生成させる、請求項６２に記載のマシン可読媒体。
前記復元サンプルは、前記１セットの推定隠蔽マルチメディアサンプルに対し非因果的である、請求項６２に記載のマシン可読媒体。
前記命令はさらに、前記マシンに、
各復元サンプルに関連する指向性モードインジケータを受信させ、且つ
前記復元サンプルと前記指向性モードインジケータとに基づき１セットの隠蔽マルチメディアサンプルを推定させる、請求項５３に記載のマシン可読媒体。