JP2008507211A - イントラ予測方向に基づくｈ．２６４空間的誤り隠蔽 - Google Patents

Abstract

【課題】イントラ予測方向に基づくＨ．２６４空間的誤り隠蔽。
【解決手段】空間的誤り隠蔽のための方法及び装置。空間的誤り隠蔽のための方法が提供される。該方法は、損傷を受けたマクロブロックを検出すること、及び、１又は複数の隣接マクロブロックに関連付けられる符号化されたマクロブロック・パラメータを得ること、を含む。又、該方法は該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成すること、及び、該隠蔽パラメータを映像復号化システム中に挿入すること、を含む。
【選択図】 図１５

Description

［３５Ｕ．Ｓ．Ｃ．§１１９に基づく優先権の主張］
本特許出願は、２００４年７月１５日に提出され、そして、本出願の譲受人に譲渡され、そして、本出願における参照としてここに明確に組み込まれた、“ブロックに基づく映像圧縮のための空間的誤り隠蔽のための方法および装置”と題する米国特許仮出願番号第６０／５８８，４８３号に優先権を主張する。

実施形態は映像配信システムの操作に係わり、そして更に特別には、映像配信システムを用いた利用に対する空間的誤り隠蔽のための方法および装置に関わる。

［背景］
無線通信網のようなデータ通信網は、高品質の映像コンテントを携帯装置に配信するためにますます利用されている。例えば、携帯装置の利用者は現在、彼らの携帯装置上で可視化されることが出来る高品質ビデオ・クリップの形式で、ニュース、スポーツ、演芸娯楽、および他の情報を受信することが出来る。しかしながら、非常に多数の移動装置（加入者）への高品質（映像）コンテントの配信は、移動装置が一般的に、信号フェージング、ドロップアウト及び他の劣化する伝送効果を生じやすい、比較的遅い無線通信回線を利用して通信するので、複雑な問題を残している。それ故、コンテント・プロバイダにとって、伝送路歪を克服する方法を有すること、及び、それによって高品質コンテントが移動装置上に受信されそして可視化されることを可能にすること、は極めて重要である。

一般的には、高品質映像コンテントは特別なフレーム・レートで可視化される映像フレームの系列からなる。１つの技術において、それぞれのフレームは、カラー映像が可視化されることを可能にする、赤、緑、そして青の情報を表すデータを含む。映像情報を送信機から受信再生装置に伝送するために、さまざまな符号化技術が採用されてきた。一般的には、該符号化技術は、冗長なデータを除くために、そして無線通信路を介して伝送される映像データのために誤り訂正を提供するために、画像圧縮を提供する。しかしながら、圧縮された映像データの何れの部分でも伝送途中欠落することは復調器で再構成される映像の品質に影響する。

開発中の業界標準に基づく１つの圧縮技術は普通“Ｈ．２６４”画像圧縮と呼ばれる。Ｈ．２６４技術は符号化される映像のビット・ストリームの構文を、このビット・ストリームを復号する方法と共に、規定する。Ｈ．２６４符号化処理の１つの実施形態において、入力映像フレームは符号化のために提供される。該フレームは原画像における１６×１６画素に対応するマクロブロック単位で処理される。それぞれのマクロブロックはイントラ（フレーム内）モードあるいはインター（フレーム間）モードで符号化されることが出来る。予測マクロブロックＩは再構成されたフレームに基づいて形成される。イントラ・モードにおいては、Ｉは、以前に符号化され、復号化され、そして、再構成されてきた現在のフレームｎにおける複数の標本から形成される。予測Ｉは、残差あるいは差分マクロブロックＤ（residual or different macroblock D）を作るために、現在のマクロブロックから差し引かれる。これは、量子化された変換された係数の集合Ｘを作るために、ブロック変換を用いて変換されそして量子化される。これ等の係数は再配列されそしてエントロピー符号化される。該エントロピー符号化された係数は、マクロブロックを復号するために要求される他の情報と共に、受信装置に伝送される圧縮されたビットストリームの１部になる。

不運にも、伝送過程の間に、１又は複数のマクロブロックに誤りが導入されることがあり得る。例えば、信号フェージングのような、１又は複数の劣化伝送効果が１又は複数のマクロブロックにデータの消失を引き起こすことがあり得る。結果として、無線通信路のような誤りを起こしやすい通信網を介してマルチメディア・コンテントを送信するとき、誤り隠蔽(error concealment)が決定的に重要になってきた。誤り隠蔽法の構成は映像信号中に存在する空間的および時間的相関を利用する。誤りが遭遇されるとき、エントロピー復号中に回復が行われる必要がある。例えば、パケット誤りが遭遇されるとき、１又は複数のマクロブロック或いは画像スライスに関するデータの全て或いは部分が失われることが可能である。符号化モードを除き全てが失われるとき、回復はイントラ符号化モードに対する空間的隠蔽法(spatial concealment)を介して、及び、インター符号化モードに対する時間的隠蔽法(temporal concealment)を介して、行われる。

いくつかの空間的隠蔽技術が、映像伝送における１又は複数のマクロブロックを損壊させた誤りから回復しようと企図して従来のシステムにおいて使用されてきた。１つの技術においては、隣接画素の加重平均が消失画素に対する値を決定するために使用される。不運にも、この単純な技術は原画像のフレームの1部であることが出来る境界構造を滲ませる結果をもたらすことがあり得る。従って、その結果得られる隠蔽データは、消失したマクロブロックが最終的に再生装置で可視化される場合、満足できる誤り隠蔽を提供することは出来ない。

空間的誤り隠蔽を提供する従来のシステムにおいて使用される別の技術はコンピュータによる強力なフィルタリング及び閾値化作用に頼る。この技術においては、隣接画素の境界が消失したマクロブロックの周囲で明確にされる。隣接画素は先ずフィルタにかけられそしてその結果は閾値検出処理を受ける。隣接画素において検出される境界構造が消失したマクロブロックに外延されそして隠蔽データを生成するための基礎として利用される。この技術は加重平均技術よりは良好な結果をもたらすけれども、フィルタリング及び閾値化作用はコンピュータ的に強烈であり、そして、その結果として、復号器にかなり大きなリソースを要求する。

従って、映像伝送システムを用いる利用に対する空間的誤り隠蔽を提供するために機能するシステムを持つことが望ましい。該システムは単純な加重平均法に固有の滲みの問題を避けるために機能すべきであるが、他方、フィルタリング及び閾値化技術によって要求されるよりも低いコンピュータ出費を要求するものでなければならない。

［概要］
1又は複数の実施形態において、空間的誤り隠蔽システム(spatial error concealment system)が映像伝送システムにおける使用のために提供される。例えば、該システムはＨ．２６４符号化および復号化技術を利用する無線映像伝送システムを用いる使用のために好適である。

1つの実施形態において、空間的誤り隠蔽のための方法が提供される。該方法は、損傷を受けたマクロブロックを検出すること、及び、1又は複数の隣接マクロブロックと関連付けられる符号化されたマクロブロック・パラメータを得ること、を具備する。該方法は、また、該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成すること、及び、該隠蔽パラメータを映像復号システムに挿入すること、を具備する。

1つの実施形態において、空間的誤り隠蔽のための装置が提供される。該装置は、損傷を受けたマクロブロックを検出するために構成されたロジック、及び、1又は複数の隣接マクロブロックと関連付けられる符号化されたマクロブロック・パラメータを得るために構成されたロジック、を具備する。該装置は、また、該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成するために構成されたロジック、及び、該隠蔽パラメータを映像復号システムに挿入するために構成されたロジック、を具備する。

1つの実施形態において、空間的誤り隠蔽のための装置が提供される。該装置は、損傷を受けたマクロブロックを検出するための手段、及び、1又は複数の隣接マクロブロックと関連付けられる符号化されたマクロブロック・パラメータを得るための手段、を具備する。該装置は、また、該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成するための手段、及び、該隠蔽パラメータを映像復号システムに挿入するための手段、を具備する。

1つの実施形態において、少なくとも１つのプロセッサによって実行される時、空間的誤り隠蔽を提供するために機能する、複数の命令を具備するコンピュータ可読媒体が提供される。該コンピュータ可読媒体は、損傷を受けたマクロブロックを検出するための命令、及び、1又は複数の隣接マクロブロックと関連付けられる符号化されたマクロブロック・パラメータを得るための命令、を具備する。該コンピュータ可読媒体は、また、該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成するための命令、及び、該隠蔽パラメータを映像復号システムに挿入するための命令、を具備する。

1つの実施形態において、少なくとも１つのプロセッサが、空間的誤り隠蔽のための方法を実行するために、提供され、そして、構成される。該方法は、損傷を受けたマクロブロックを検出すること、及び、1又は複数の隣接マクロブロックと関連付けられる符号化されたマクロブロック・パラメータを得ること、を具備する。該方法は、また、該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成すること、及び、該隠蔽パラメータを映像復号システムに挿入すること、を具備する。

実施形態のその他の態様は下記に記載される図面の簡単な説明、詳細な説明、及び請求項を通読すれば明らかになる。

本明細書において説明される実施形態の先述の態様は下記の詳細な説明を付図と共に参照することによって更に容易に明らかになる。

［詳細な記載］
１又は複数の実施形態において、受信された映像伝送における誤りを隠蔽するために機能する空間的誤り隠蔽システムが提供される。例えば、映像伝送は、各フレームが複数のマクロブロックを具備する、一系列の映像フレームを具備する。マクロブロックのグループは、また、画像スライスの境界を定めることが出来る、そして、１つのフレームは多数の画像スライスに分割されることが出来る。送信装置における符号化システムはＨ．２６４符号化技術を用いて該マクロブロックを符号化する。符号化されたマクロブロックは、次に、通信路を介して受信装置に送信される、そして、その過程において、１又は複数のマクロブロックが消失され、損壊され、或いはその他使用不能にされて、その結果、再構成される映像フレームに目に見える歪みが検出されることが出来る。１つの実施形態において、空間的誤り隠蔽システムは損傷を受けたマクロブロック検出するために、そして、損傷を受けていない、修復された、或いは、隠蔽された隣接マクロブロックに関連付けられる方向構成に基づいて隠蔽データを生成するために、機能する。結果として、損傷を受けたマクロブロックは効果的に隠蔽されることが出来て映像フレームの審美的に快適な可視化を提供する。該システムは、特に、無線通信網環境における利用に良く適しているが、通信ネットワーク、インターネットのような公共通信網、仮想プライベート通信網（virtual private network）（ＶＰＮ）のようなプライベート通信網、構内通信網、広域通信網、長距離通信網、或いは、他の任意の型のデータ通信網をこれ等に限定されず含む、任意の型の無線及び／又は有線通信網環境において利用されることが出来る。該システムは、また、実質的に任意の型の映像再生装置を用いる利用に対して好適である。

映像フレームの符号化
図１は受信再生装置への伝送のために符号化されるべき映像フレーム１００を示す。例えば、映像フレーム１００はＨ．２６４映像符号化技術を使用して符号化されることが出来る。本実施形態における映像フレーム１００は３２０×２４０画素の映像データを具備する、しかしながら、該映像フレームは任意の所望の数の画素を具備することが出来る。一般的に、カラー映像に関しては、映像フレーム１００は各画素に対して輝度及び色差(luminance and chrominance)（Ｙ、Ｃｒ、Ｃｂ）データを具備する。明確化のために、空間的誤り隠蔽システムの諸実施形態は、最初は、消失された輝度データの隠蔽に関して説明される。しかしながら、また、消失された色差データの隠蔽にも同様に更に特別に適用可能な、付加的実施形態も提供される。

映像フレーム１００は複数のマクロブロックから構成され、それぞれのマクロブロックは１６×１６画素のデータ配列を具備する。例えば、マクロブロック１０２は１６×１６画素の映像データを具備する。次節において説明されるように、映像フレーム１００のマクロブロックはＨ．２６４の下で符号化され、そして、符号化されたマクロブロックに関連付けられる様々な符号化パラメータが再生装置への伝送のための映像ストリームの中に配置される。１つの実施形態において、Ｈ．２６４はイントラ＿１６×１６符号化と呼ばれるものの中で該１６×１６マクロブロックを符号化することを規定する。別の実施形態において、Ｈ．２６４はイントラ＿４×４符号化と呼ばれるものの中で４×４画素の複数ブロックにおいて１６×１６マクロブロックを符号化することを規定する。かくして、映像データは様々な大きさのブロックを使用して符号化されたことが出来る、しかしながら、隠蔽システムの１又は複数の実施形態は使用されるブロック大きさと関係なく利用に適する。

図２はマクロブロック１０２の詳細図を示す。マクロブロック１０２は１６ブロックのグループからなり、それぞれのブロックは４×４画素のデータ配列を具備する。例えば、ブロック２０２は４×４画素のデータ配列を具備する。

図３はブロック２０２及び、３０２で一般的に示される、その周囲の隣接画素の詳細図を示す。例えば、Ｈ．２６４符号化処理の間に、隣接画素３０２はブロック２０２を記述する様々なパラメータを生成するために利用される。ブロック２０２は画素（ｐ０−ｐ１５）を具備し、隣接画素３０２はブロック２０２の画素の位置に対応する参照指標値を利用して識別される。

図４はブロックの指向性の特徴を説明するために使用される９個の指向性モード（０−９）（或いは、指標値（indicator））を図示する指向性モード図４００を示す。例えば、モード０は垂直指向性特性(vertical directivity characteristic)を表し、モード１は水平指向性特性を表し、そしてモード２はＤＣ特性を表す。指向性モード図４００に図示される該モードは、Ｈ．２６４符号化処理において、ブロック２０２に対する予測パラメータを生成するために利用される。

図５は映像フレームを符号化するために使用されるＨ．２６４符号化処理の図を示す。Ｈ．２６４符号化処理は、映像フレームの各ブロックを符号化するために、イントラ＿４×４符号化を実行すると仮定される。例えば、ブロック２０２は図５に示される符号化処理を使用して符号化されることが出来る。１つの実施形態において、もしマクロブロックがイントラ＿１６×１６として、指向性モード水平、垂直、或いはＤＣを用いて、符号化されるならば、マクロブロックを構成する１６個の４×４ブロックはイントラ＿１６×１６モードに対応する適切なイントラ＿４×４モードを割り当てられる。例えば、もしイントラ＿１６×１６モードがＤＣならば、その１６個の４×４ブロックはＤＣを割り当てられる。もしイントラ＿１６×１６モードが水平ならば、その１６個の４×４ブロックは指向性モード１を割り当てられる。もしイントラ＿１６×１６モードが垂直ならば、その１６個の４×４ブロックは、図４に示されるように、指向性モード０を割り当てられる。

Ｈ．２６４においては、スライス境界を越えるイントラ予測は許されないことも又注意されるべきである。このことはある方向のモードを禁止し、その結果ＤＣと宣言されるモードになる可能性がある。このことは隣接マクロブロックにおけるモード情報の精度に影響を与える。その上、４×４ブロックがこのようにしてＤＣモードを割り当てられる場合、非ゼロ係数の数の増大として跳ね返される残留エネルギーが上昇する。提案されるＳＥＣアルゴリズムに対する伝播則におけるモード情報に割り当てられる重みは残留エネルギーに依存するが故に、制限されたイントラ予測起因の不正確は適切に取り扱われる。

符号化の間に、予測ロジック５０２は、それぞれの指向性モードに対する予測ブロック５０４を生成するために、指向性モード４００に従って隣接画素３０２を処理する。例えば、予測ブロック５０４は、選択された指向性モードに従って、隣接画素３０２を予測ブロック５０４中に拡張することにより、生成される。それぞれの予測ブロック５０４は、９個の“絶対差分和”“sum of absolute differences”（ＳＡＤ_ｉ）ブロック５０６を作るために原ブロック２０２から減算される。残差ブロック５０８は、９個のＳＡＤ_ｉブロック５０６の何れが最小ＳＡＤ値（ＭＩＮＳＡＤ）、最も０に近い値、を有するかということに基づいて、或いは他の任意の選択基準に基づいて、該９個のＳＡＤ_ｉブロック５０６から決定される。一旦該残差ブロックが決定されると、それは変換係数５１２を生成するために、変換ロジック５１０によって変換される。例えば、離散コサイン変換（discrete cosine transform）（ＤＣＴ）のような、画像圧縮のための任意の好適な変換アルゴリズムが使用されることが出来る。変換係数５１２は、選択された残差ブロック５０８を生成した指向性モード値と共に伝送ビット・ストリームに書き込まれる、量子化された変換係数を生成するためのブロック５１４で量子化される。次に、該伝送ビット・ストリームはデータ通信網を介する再生装置への伝送のために処理される。伝送ビット・ストリームには、残差ブロック５０８に関連付けられる非ゼロ係数の数を示す指標値のような、他のパラメータも含まれることが出来る。

伝送過程の間に、１または複数のマクロブロックが、信号フェージングのような劣化伝送効果の結果として、消失される、損壊される、或いはその他使用不能になる可能性がある。かくして、１または複数の実施形態においては、空間的誤り隠蔽システムが該損傷を受けたマクロブロックのための隠蔽データを生成するために再生装置で機能して、受信された映像情報の審美的に快適な可視化を提供する。

図６は空間的誤り隠蔽システムの一実施形態を備える通信網６００の一実施形態を示す。通信網６００は配信サーバ６０２、データ通信網６０４、及び無線装置６０６を具備する。配信サーバ６０２は通信回線６０８を介してデータ通信網と通信する。該通信回線６０８は任意の型の有線あるいは無線通信回線を具備する。

データ通信網６０４は任意の型の有線及び／又は無線通信網を具備する。該データ通信網６０４は通信回線６１０を使用して装置６０６と通信する。通信回線６１０は任意の適当な型の無線通信回線を具備する。かくして、配信サーバ６０２はデータ通信網６０４および通信回線６０８、６１０を使用して装置６０６と通信する。

１つの実施形態において、配信サーバ６０２は、データ通信網６０４を使用して、符号化された映像データを装置６０６に送信するために機能する。例えば、該サーバ６０２は情報源符号器６１２及び通信路符号器６１４を具備する。１つの実施形態において、該情報源符号器６１２は映像信号を受信し、そして、Ｈ．２６４符号化技術に従って、該映像信号のマクロブロックを符号化する。しかし、複数の実施形態は他の型の符号化技術を用いた使用に対して好適である。通信路符号器６１４は、該符号化された映像信号を受信し、そして、順送り誤り訂正のような誤り訂正を組み込んだ通信路符号化された映像信号を生成するために、機能する。結果として得られる該通信路符号化された映像信号は、通信路６１６によって示されるように、配信サーバ６０２から装置６０６へと送信される。

該通信路符号化された映像信号は装置６０６において通信路復号器６１８によって受信される。通信路復号器６１８は該通信路符号化された映像信号を復号し、そして、伝送過程の間で発生した可能性がある任意の誤りを訂正する。１つの実施形態において、通信路復号器６１８は誤りを検出することが出来るが、該誤りの深刻さのためにそれ等を訂正することが出来ない。例えば、１又は複数のマクロブロックは、該復号器６１８がそれ等を訂正することが出来ないほど厳しい信号フェージング或いは他の伝送効果のために消失される或いは損壊されることがあり得る。１つの実施形態において、通信路復号器６１８がマクロブロックの誤りを検出すると、それは、訂正不可能なマクロブロック誤りが受信されたことを指示する、誤り信号６２０を出力する。

通信路復号化された映像信号は通信路復号器６１８から出力され、そして、エントロピー復号器６２２に入力される。エントロピー復号器６２２は、通信路復号化された映像信号からの指向性モード指標値および係数のようなマクロブロック・パラメータを復号する。復号化された情報は、エントロピー復号器６２２の１部であることが出来るマクロブロック・パラメータ緩衝記憶装置(macroblock parameters buffer)に記憶される。１つの実施形態において、該復号化されたマクロブロック情報は（通信路６２８を介して）切換器６２４に入力され、そして、該パラメータ緩衝記憶装置からの情報は、（通信路６３０を介して）空間的誤り隠蔽（ＳＥＣ；spatial error concealment）ロジック６２６にアクセス可能である。１つの実施形態において、エントロピー復号器６２２は損傷を受けたマクロブロックを検出するために機能することが出来て、そして、誤り信号６２０を出力することが出来る。

１つの実施形態において、ＳＥＣロジック６２６は伝送エラーによって失われたマクロブロックに対する指向性モード情報及び係数を具備する隠蔽パラメータを生成するために機能する。例えば、ＳＥＣロジック６２６は誤り標識６２０を受信し、そして応答として、健全な（誤りのない）隣接マクロブロックに関連付けられるマクロブロックの指向性情報および変換係数を検索する。ＳＥＣロジック６２６は隣接マクロブロックの情報を利用して、消失したマクロブロックのための隠蔽指向性モード情報（concealment directivity mode information）および係数パラメータ情報を生成する。ＳＥＣロジック６２６の更に詳細な説明が本明細書の別の節で与えられる。ＳＥＣロジック６２６は、通信路６３２によって示されるように、生成された消失マクロブロックのための指向性モード情報および係数パラメータを切換器６２４に出力する。このようにして、ＳＥＣロジック６２６は消失マクロブロックのための隠蔽パラメータを復号システムに挿入する。

切換器６２４はその２つの入力の１つから情報を選択し切換器の出力端で出力するために機能する。該切換器の機能は誤り信号６２０によって制御される。例えば、１つの実施形態において、マクロブロック誤りがない場合、誤り信号６２０は切換器６２４を制御してエントロピー復号器６２２から受信された指向性モード指標値および係数情報を出力させる。マクロブロック誤りが検出される場合、誤り信号６２０は切換器６２４を制御してＳＥＣロジック６２６から受信される指向性モード指標値および係数情報を出力させる。このようにして、誤り信号６２０は切換器６２４の機能を制御して、正しく受信されたエントロピー復号器６２２からのマクロブロック情報、或いは、ＳＥＣロジックからの損傷を受けたマクロブロックのための隠蔽情報、の何れかを伝達させる。切換器の出力は情報源復号器６３４に入力される。

情報源復号器６３４は、切換器６２４から受信される該指向性モード指標値および係数情報を利用して、該伝送された映像データを復号するために機能してフレーム緩衝記憶装置(frame buffer)６３６に記憶される復号された映像フレームを作る。該復号されたフレームは、訂正不可能な誤りを含んだ先述のマクロブロックに対してＳＥＣロジック６２６によって生成された隠蔽データを含む。次に、フレーム緩衝記憶装置６３６に記憶される映像フレームは装置６０６上で可視化されることが出来て、ＳＥＣロジック６２６によって生成された隠蔽データは消失された或いは損傷を受けたマクロブロックの審美的に快適な可視化を提供する。

従って、１又は複数の実施形態において、映像フレームにおける消失された或いは損傷を受けたマクロブロックのための隠蔽データを生成するために機能する、空間的誤り隠蔽システムが提供される。１つの実施形態において、損傷を受けたマクロブロックのための隠蔽情報は、誤りのないあるいは先に隠蔽された隣接マクロブロックに関連付けられる指向性モード情報および変換係数から生成される。結果として、該システムはＨ．２６４符号化技術を利用する既存の映像伝送システムに容易に適用可能である、その理由は、実施形態によって提供されるような改善された空間的誤り隠蔽を得るために、再生装置に対する改造のみが必要とされることがあるに過ぎないからである。

図７は空間的誤り隠蔽システム７００の一実施形態の詳細図を示す。例えば、該システム７００は図１に示される装置１０６を用いた利用に対して好適である。該システム７００は１つの実装を代表し、そして、本実施形態の範囲内で他の実装が可能であるということは注意されるべきである。

この説明の目的のために、空間的誤り隠蔽システム７００は無線通信路７０４を介して映像伝送７０２を受信すると仮定される。１つの実施形態において、映像伝送７０２は上述で説明されたＨ．２６４技術を利用して符号化された映像情報を具備する、そして従って、それぞれのフレームが複数の符号化されたマクロブロックを含む一系列の映像フレームを具備する。該通信路７０４の劣化の結果として、１又は複数のマクロブロックが訂正不可能な誤りを含むということが、更に仮定される。例えば、通信路７０４が信号フェージング或いは他の任意の型の劣化伝送効果を被った結果として、１又は複数のマクロブロックが完全に失われている。

１つの実施形態において、空間的誤り隠蔽システム７００は無線通信路７０４を介して映像伝送７０２を受信するために機能する物理層ロジック７０６を具備する。該物理層ロジック７０６は受信される映像伝送７０２の復調および復号を実行するために機能する。例えば、１つの実施形態において、物理層ロジック７０６は受信される映像伝送７０２上でターボ復号を実行するために機能する。従って、１又は複数の実施形態において、物理層ロジック７０６は任意の好適な型の通信路復号を実行するためのロジックを具備する。

物理層ロジック７０６の出力はＳｔｒｅａｍ／ＭＡＣ層ロジック７０８に入力される。Ｓｔｒｅａｍ／ＭＡＣ層ロジック７０８は任意の好適な型の誤り検出および訂正を実行するために機能する。例えば、１つの実施形態において、Ｓｔｒｅａｍ／ＭＡＣ層ロジック７０８はリード・ソロモン消失復号を実行するために機能する。Ｓｔｒｅａｍ／ＭＡＣ層ロジック７０８は、訂正不可能な及び／又は検出不可能な誤りおよび帯域内誤りマーカを具備する復号された映像データ７１０のビット・ストリームを出力する。また、Ｓｔｒｅａｍ／ＭＡＣ層ロジック７０８は、１又は複数の受信されたマクロブロック内に誤りが遭遇される時を示す誤り信号７１２も出力する。１つの実施形態において、該復号された映像データ７１０はエントロピー復号器７１４に入力され、そして、誤り信号７１２は第１および第２切換器（Ｓ１及びＳ２）及びＳＥＣロジック７２６に入力される。

エントロピー復号器７１４は入力データ・ストリーム７１０を復号するために機能して３つの出力を作る。第１出力７１６は、入力映像データ・ストリーム７１０のマクロブロックに関連付けられるブロックのための量子化パラメータ及び／又は量子化された係数を具備する。第１出力７１６は切換器Ｓ２の第１入力に入力される。第２出力７１８は、入力映像データ・ストリーム７１０のマクロブロックに関連付けられるブロックのためのイントラ予測指向性モードを具備する。第２出力７１８は切換器Ｓ１の第１入力に入力される。第３出力７２０はマクロブロック・パラメータ緩衝記憶装置７２４に入力されるマクロブロック・パラメータを具備する。マクロブロック・パラメータ緩衝記憶装置７２４は任意の好適な型の記憶装置を具備する。１つの実施形態において、該マクロブロック・パラメータは、マクロブロック型指標値、イントラ予測指向性モード指標値、係数、及び、各マクロブロックの各４×４ブロックに対する非ゼロ係数の数を示す係数指標値、を具備する。１つの実施形態において、エントロピー復号器７１４はマクロブロック誤りを検出し、そして、誤り信号７１２を出力する。

１つの実施形態において、ＳＥＣロジック７２６は、受信されたマクロブロック中の誤りを隠蔽するために利用される隠蔽データのための指向性モード情報および係数パラメータを生成するために機能する。例えば、Ｓｔｒｅａｍ／ＭＡＣ層７０８からの誤り信号７１２は該ＳＥＣロジック７２６に入力される。誤り信号７１２は、映像伝送７０２に含まれる１又は複数のマクロブロックの中に誤りが検出されたことを示す。ＳＥＣロジック７２６が誤り信号７１２の選択された状態を受信する場合、それは、７２８に示されるように、マクロブロック・パラメータを検索するためにマクロブロック・パラメータ緩衝記憶装置７２４にアクセスする。ＳＥＣロジック７２６は検索パラメータを使用して２つの出力を生成する。第１出力は切換器Ｓ２の第２入力へ入力される隠蔽量子化パラメータ７３０である。ＳＥＣロジック７２６の第２出力は切換器Ｓ１の第２入力へ入力される隠蔽イントラ指向性モード７３２を供給する。また、ＳＥＣロジック７２６は、７２２に示されるように、マクロブロック・パラメータ緩衝記憶装置７２４に戻って書き込まれる、隠蔽されたマクロブロックのためのマクロブロック・パラメータも生成する。ＳＥＣロジック７２６の更に詳細な議論は本明細書の別の節で提供される。

１つの実施形態において、切換器Ｓ１及びＳ２は、選択されたスイッチ入力で受信される情報をスイッチ出力に切り替えるために機能する任意の好適な切り替え機構を具備する。例えば、切換器Ｓ２は２つの入力と１つの出力を有する。第１入力はエントロピー復号器７１４から量子化情報７１６を受信する、そして、第２入力はＳＥＣロジック７２６から隠蔽量子化情報７３０を受信する。また、切換器Ｓ２は、切換器Ｓ２の作用を制御するために機能する、誤り信号７１２も受信する。１つの実施形態において、もしＳｔｒｅａｍ／ＭＡＣ層７０８が受信された映像伝送７０２の中にマクロブロック誤りを見出さない場合、その時、切換器Ｓ２を制御してその第１入力にある情報をその切換器出力で出力されるべきであると選択させる、第１状態を有する誤り信号７１２が出力される。もしＳｔｒｅａｍ／ＭＡＣ層７０８が受信された映像伝送７０２の中にマクロブロック誤りを見出す場合、その時、切換器Ｓ２を制御してその第２入力にある情報をその切換器出力で出力されるべきであると選択させる、第２状態を有する誤り信号７１２が出力される。切換器Ｓ２の出力はリスケーリング・ブロック７３２に入力される。

切換器Ｓ１の作用は切換器Ｓ２の作用と似ている。例えば、切換器Ｓ１は２つの入力と１つの出力を具備する。第１入力はエントロピー復号器７１４からイントラ指向性モード７１８を受信する、そして、第２入力はＳＥＣロジック７２６から隠蔽イントラ指向性モード７３２を受信する。また、切換器Ｓ１はその作用を制御するために機能する誤り信号７１２も受信する。１つの実施形態において、もしＳｔｒｅａｍ／ＭＡＣ層７０８が受信された映像伝送７０２の中にマクロブロック誤りを見出さない場合、その時、切換器Ｓ１を制御してその第１入力にある情報をその切換器出力で出力されるべきであると選択させる、第１状態を有する誤り信号７１２が出力される。もしＳｔｒｅａｍ／ＭＡＣ層７０８が受信された映像伝送７０２の中にマクロブロック誤りを見出す場合、その時、切換器Ｓ１を制御してその第２入力にある情報をその切換器出力で出力されるべきであると選択させる、第２状態を有する誤り信号７１２が出力される。切換器Ｓ１の出力はイントラ予測ブロック７３４に入力される。

１つの実施形態において、リスケーリング・ブロック７３２は映像ブロック信号に対する量子化パラメータを受信し、そして、逆変換ブロック７３６に入力されるスケールを変えられたバージョンを生成する。

逆変換ブロック７３６は映像ブロック信号に対する受信された量子化パラメータを処理するために機能し、合算関数７３８に入力される逆変換を作る。

イントラ予測ブロック７３４は、切換器Ｓ１の出力からイントラ指向性モード、そして、復号されたフレーム・データ緩衝記憶装置７４０から隣接画素の値、を受信するために機能し、合算関数７３８に入力される予測ブロックを生成する。

合算関数７３８は逆変換ブロック７３６の出力と予測ブロック７３４の出力を合算するために機能し、復号された画素値或いは誤りが隠蔽された画素値を表す再構成されたブロック７４２を形成する。再構成されたブロック７４２は、フレームのための復号された画素データを記憶しそしてＳＥＣロジック７２６の作用の結果として生成される一切の隠蔽データを含む、復号されたフレーム・データ緩衝記憶装置７４０に入力される。

従って、１又は複数の実施形態において、映像フレームにおけるマクロブロックの誤りを検出するために、そして、誤りのないマクロブロック及び／又は先に隠蔽されたマクロブロックと関連付けられる符号化されたマクロブロック・パラメータに基づいて隠蔽データを生成するために、機能する、空間的誤り隠蔽システムが提供される。

図８は空間的誤り隠蔽システムの１又は複数の実施形態における利用に対して好適なＳＥＣロジック８００の一実施形態を示す。例えば、ＳＥＣロジック８００は、受信された映像伝送のために空間的誤り隠蔽を提供するための図７に示されるＳＥＣロジック７２６としての利用に対して好適である。

ＳＥＣロジック８００はプロセシング・ロジック８０２、マクロブロック誤り検出ロジック８０４、及び、マクロブロック緩衝記憶装置インタフェース・ロジック８０６を具備し、これ等全ては内部データ・バス８０８に接続される。また、ＳＥＣロジック８００はマクロブロック係数出力ロジック８１０及びマクロブロック指向性モード出力ロジック８１２も具備し、これ等も又内部データ・バス８０８に接続される。

１又は複数の実施形態において、プロセシング・ロジック８０２は、ＣＰＵ、プロセッサ、ゲート・アレイ、ハードウェア・ロジック、記憶素子、仮想機械、ソフトウェア、及び／又はハードウェアとソフトウェアの任意の組み合わせ、を具備する。このようにして、該プロセシング・ロジック８０２は、一般に、機械可読命令を実行するためのロジック、及び、内部データ・バス８０８を介してＳＥＣロジック８００の１又は複数の他の機能素子を制御するためのロジック、を具備する。

１つの実施形態において、プロセシング・ロジック８０２はマクロブロック・パラメータ緩衝記憶装置からの符号化されたマクロブロック・パラメータ処理するために機能して、１又は複数のマクロブロック中の誤りを隠蔽するために利用される隠蔽パラメータを生成する。１つの実施形態において、プロセシング・ロジック８０２は、指向性モード情報を生成するためにマクロブロック・パラメータ緩衝記憶装置内に記憶される、誤りのない及び／又は先に隠蔽されたマクロブロックからの符号化されたマクロブロック・パラメータ、及び、該隠蔽パラメータを生成するために利用される係数情報、を使用する。

マクロブロック緩衝記憶装置インタフェース・ロジック８０６は、ＳＥＣロジックがマクロブロック・パラメータ緩衝記憶装置に接続することを可能にするために機能するハードウェア及び／又はソフトウェアを具備する。例えば、マクロブロック・パラメータ緩衝記憶装置は図７に示されるマクロブロック・パラメータ緩衝記憶装置７２４であることが出来る。１つの実施形態において、該インタフェース・ロジック８０６は回線８１４を介してマクロブロック・パラメータ緩衝記憶装置から符号化されたマクロブロック・パラメータを受信するために構成されたロジックを具備する。また、該インタフェース・ロジック８０６は、隠蔽されたマクロブロックと関連付けられる符号化されたマクロブロック・パラメータを、回線８１４を介してマクロブロック・パラメータ緩衝記憶装置へ、送信するために構成されたロジックも具備する。該回線８１４は任意の好適な通信技術を具備する。

マクロブロック誤り検出ロジック８０４は、ＳＥＣロジックが、マクロブロック誤りが検出された時を示す、誤り信号あるいは指標値を受信することを可能にするために機能するハードウェア及び／又はソフトウェアを具備する。例えば、検出ロジック８０４は、任意の好適な技術を具備する回線８１６を介して、誤り信号を受信するために構成されたロジックを具備する。例えば、誤り信号は図７に示される誤り信号７１２であることが出来る。

マクロブロック係数出力ロジック８１０は、ＳＥＣロジック８００が、映像フレームにおける隠蔽データを生成するために使用されるべき、マクロブロック係数を出力することを可能にするために機能するハードウェア及び／又はソフトウェアを具備する。例えば、該係数情報は、該プロセシング・ロジック８０２によって生成されることが出来る。１つの実施形態において、マクロブロック係数出力ロジック８１０は、図７に示される切換器Ｓ１のような、切換ロジックにマクロブロック係数を出力するために構成されたロジックを具備する。

マクロブロック指向性モード出力ロジック８１２は、ＳＥＣロジック８００が、映像フレームにおける隠蔽データを生成するために使用されるべき、マクロブロック指向性モード値を出力することを可能にするために機能するハードウェア及び／又はソフトウェアを具備する。１つの実施形態において、該マクロブロック指向性モード出力ロジック８１２は、図７に示される切換器Ｓ２のような、切換ロジックにマクロブロック指向性モード値を出力するために構成されたロジックを具備する。

空間的誤り隠蔽システムの１又は複数の実施形態において、ＳＥＣロジックは下記の機能のうち１又は複数を実行する。
ａ． １又は複数の使用不可能なマクロブロックが受信されたことを示す誤り指標値を受信する。
ｂ． 健全な（誤りのない及び／又は先に隠蔽された）隣接マクロブロックと関連付けられる符号化されたマクロブロック・パラメータを、マクロブロック・パラメータ緩衝記憶装置から、取得する。
ｃ． 使用不可能なマクロブロックに対して、マクロブロック指向性モード値および係数データを生成する。
ｄ． 該マクロブロック指向性モード値および係数データを、隠蔽データが生成されそして復号される映像フレームに挿入される、復号システムに出力する。
ｅ． 該隠蔽されたマクロブロックのための符号化されたマクロブロック・パラメータを、マクロブロック・パラメータ緩衝記憶装置に戻して記憶する。

１つの実施形態において、ＳＥＣロジック８００はコンピュータ可読媒体上に記憶されるプログラム命令を具備する、該媒体は、少なくとも１つのプロセッサ、例えば、プロセシング・ロジック８０２、によって実行される時、本明細書中で説明されるような空間誤り隠蔽システムの諸機能を提供する。例えば、命令は、フロッピー（登録商標）・ディスク、ＣＤＲＯＭ、メモリ・カード、フラッシュ・メモリ装置、ＲＡＭ、ＲＯＭ、或いは他の任意の型のメモリ装置又はコンピュータ可読媒体、のようなコンピュータ可読媒体からＳＥＣロジック８００中に読み込まれることが出来る。別の実施形態においては、該命令は、ＳＥＣロジック８００に接続する外部装置またはネットワーク資源から、ＳＥＣロジック８００中に取り込まれることが出来る。該命令は、プロセシング・ロジック８０２によって実行される時、本明細書中で説明されるような空間誤り隠蔽システムの１又は複数の実施形態を提供する。ＳＥＣロジック８００は単なる１つの実装であること、及び、本実施形態の範囲内で他の実装が可能であること、が注意されるべきである。

図９は空間的誤り隠蔽の一実施形態を提供するための方法９００を示す。明確化のために、本明細書中で該方法９００は図７に示される空間的隠蔽システム７００を参照して説明される。該方法９００は基本ＳＥＣの一実施形態を説明すること、他方、下記に説明される他の方法および装置は拡張ＳＥＣの諸実施形態を説明すること、が注意されるべきである。例えば、基本ＳＥＣの諸実施形態は因果的(casual)な隣接ブロックに基づいて誤り隠蔽を提供する、他方、拡張ＳＥＣの諸実施形態は非因果的(non-casual)な隣接ブロックを利用する誤り隠蔽も同様に提供する。該方法９００の諸機能は逐次的な仕方で示されそして説明されるけれども、１又は複数の機能が実施形態の範囲内で再配列及び／又は同時に実行されることが可能であることもまた注意されるべきである。

ブロック９０２において、映像伝送が装置に受信される。例えば、１つの実施形態において、映像伝送はＨ．２６４技術を使用して符号化された映像データ・フレームを具備する。１つの実施形態において、映像伝送は、信号フェージングのような劣化効果を経験する伝送路を介して行われる、そしてその結果として、該伝送に含まれる１又は複数のマクロブロックが消失される、損傷を受ける、或いは、その他使用不能になることがあり得る。

ブロック９０４において、受信された映像伝送は通信路復号化され、そして、誤り検出および訂正を受ける。例えば、該映像伝送は、通信路復号化および誤り訂正の機能を実行するために、物理層ロジック７０６及びＳｔｒｅａｍ／Ｍａｃ層ロジック７０８によって処理される。

ブロック９０６においては、通信路復号化された映像信号がエントロピー復号化されて符号化されたマクロブロック・パラメータを得る。例えば、１つの実施形態において、エントロピー符号化は量子化された諸係数及びそれ等の位置の可変長可逆符号化を具備する。１つの実施形態において、図７に示されるエントロピー復号器７１４はエントロピー復号化を実行する。１つの実施形態において、エントロピー復号化は、また、１又は複数のマクロブロック誤りを検出することも出来る。

ブロック９０８においては、エントロピー復号化から決定される符号化されたマクロブロック・パラメータはマクロブロック・パラメータ緩衝記憶装置に記憶される。例えば、該マクロブロック・パラメータは図７における緩衝記憶装置７２４に記憶されることが出来る。マクロブロック・パラメータはブロック指向性モード値、変換係数、及び、特別なブロックにおける非ゼロ係数の数を示す非ゼロ指標値、を具備する。１又は複数の実施形態において、マクロブロック・パラメータは映像フレームと関連付けられる輝度（luma）データ、色差（chroma）データの双方またはいずれか一方を記述する。

ブロック９１０においては、受信された画像伝送における１又は複数のマクロブロックが使用不可能であるかを決定するためのテストが実行される。例えば、受信された映像ストリームにおける１又は複数のマクロブロックと関連付けられるデータが伝送中に消失されてしまったか或いは訂正不可能な誤りを含んでいる可能性がある。１つの実施形態において、マクロブロック誤りはブロック９０４において検出される。別の実施形態において、マクロブロック誤りはブロック９０６において検出される。もし受信されたマクロブロック中に誤りが検出されないならば、該方法はブロック９１４に進む。もし１又は複数のマクロブロックに誤りが検出されるならば、該方法はブロック９１２に進む。

ブロック９１２においては、隠蔽パラメータが誤りのない隣接マクロブロック及び／又は先に隠蔽された隣接マクロブロックから生成される。例えば、隠蔽パラメータは、隠蔽パラメータを作るために使用されることが出来る、指向性モード値および変換係数を具備する。１つの実施形態において、該隠蔽パラメータは図８に示されるＳＥＣロジック８００によって生成される。ＳＥＣロジック８００は使用不可能なマクロブロックを同定する誤り信号を受信するために機能する。ＳＥＣロジック８００は、次に、健全な隣接マクロブロックと関連付けられる符号化されたマクロブロック・パラメータを検索する。該マクロブロック・パラメータは、緩衝記憶装置７２４のような、マクロブロック・パラメータ緩衝記憶装置から検索される。隣接マクロブロックは正確に（誤りなく）受信されたか、或いは、先にＳＥＣロジック８００によって隠蔽されたか、の何れかである。一旦隠蔽パラメータが生成されると、それ等はマクロブロック・パラメータ緩衝記憶装置に戻って書き込まれる。１つの実施形態において、ＳＥＣロジック８００によって生成される変換係数は全てのゼロを含む。ＳＥＣロジック８００の機能の更に詳細な説明は本明細書の別の節において提供される。

ブロック９１４においては、マクロブロックと関連付けられる変換係数がリスケールされる。例えば、リスケーリングはブロック大きさ間の変化に対して精確な予測を提供させる。１つの実施形態においては、該係数はすでに受信された健全なマクロブロックから引き出される。別の実施形態においては、該係数は隠蔽データに対する係数を表し、そして、ブロック９１２で説明されたＳＥＣロジック８００によって生成される。リスケーリングは図７において示されるスケーリング・ロジック７３２によって実行されることが出来る。

ブロック９１６においては、リスケールされた係数上で逆変換が実行される。例えば、該逆変換は図７において示される逆変換ロジック７３６によって実行される。

ブロック９１８においては、指向性モード値および先に復号されたフレーム・データを利用して、イントラ＿４×４予測ブロックが生成される。例えば、図７に示される切換器Ｓ１から出力される指向性モード値が先に復号されたフレーム・データと共に利用されて予測ブロックを作る。

ブロック９２０においては、再構成されたブロックが生成される。例えば、ブロック９１６において生成される変換係数はブロック９１８において生成される予測ブロックと結合されて再構成されたブロックを生成する。例えば、図７に示される合算ロジック７３８は再構成されたブロックを生成するために機能する。

ブロック９２２においては、再構成されたブロックは復号された映像緩衝記憶装置中に書き込まれる。例えば、再構成されたブロックは図７に示される復号されたフレーム緩衝記憶装置７４０中に書き込まれる。

このようにして、該方法９００は空間的誤り隠蔽を提供するために機能し、再生装置に受信される損傷を受けたマクロブロックを隠蔽する。該方法９００は単なる１つの実施形態であるということ、そして、説明される機能の、付加、変更、組合せ、削除、或いは再配列が実施形態の範囲内で行われることが出来るということ、は注意されるべきである。

図１０は空間的誤り隠蔽システムの１つの実施形態における使用のためのマクロブロック・パラメータ緩衝記憶装置１０００の１つの実施形態を示す。例えば、該緩衝記憶装置１０００は図７に示される緩衝記憶装置７２４としての使用のために好適である。該パラメータ緩衝記憶装置１０００は、受信された映像伝送と関連付けられるマクロブロックを記述する符号化されたパラメータ情報を具備する。例えば、該緩衝記憶装置１０００に記憶される該情報は、ＤＣ値、モード、指向性情報、非ゼロ指標値、及び他の適当なパラメータを含む、輝度及び／又は色差パラメータ(luma and/or chroma parameter)のような、マクロブロック・パラメータ及びマクロブロックを識別する。

隠蔽アルゴリズム
空間的誤り隠蔽システムの１又は複数の実施形態において、隠蔽データを生成するためのアルゴリズムが実行されて消失された或いは損傷を受けたマクロブロックを隠蔽する。１つの実施形態において、該アルゴリズムは、拡張された性能を達成するために、空間的誤り隠蔽システムが映像信号の局所的方向特性に適応しそしてそれを保管することを可能にするために機能する。該アルゴリズムとその作用の詳細な説明が下記の説明において提供される。

該システムは、（健全な）隣接の複数マクロブロック及びそれ等の４×４ブロックを利用するために、イントラ＿１６×１６予測モード及びイントラ＿４×４予測モード双方を用いて作用し、損傷を受けたマクロブロックにおける映像信号の局所的方向構造を参照する。その結果、誤りのある／消失されたマクロブロックの代わりに、４×４ブロック・イントラ予測モードが利用可能な隣接の情報に基づいて一貫して導かれて、イントラ＿４×４符号化された隠蔽マクロブロックが合成される。

イントラ＿４×４隠蔽マクロブロックは残差（即ち、係数）データがなくても合成される。しかしながら、合成された隠蔽マクロブロックを拡張するために、他の実施形態においては、残差データを供給することも可能である。この特徴は、利用可能な非因果的隣接ブロックからの補正輝度および色情報を結合するために特に有用である可能性がある。

一旦合成された複数の隠蔽マクロブロックが決定されると、それ等は単に再生装置における通常の復号化システム或いはロジックに転送される。このようなものとして、隠蔽のための実行は簡素化され、そして、処理後のアプローチであるというよりはむしろ復号化処理にもっと似ている。このことは、該システムの目標とされる再生プラットフォームへの単純で高度に効率的な移植を可能にする。消失された領域境界をマークするマクロブロック境界を横切って特に実行される強力なデブロッキング・フィルタリングが隠蔽アルゴリズムを締めくくる。

基本的なアルゴリズム原理についての多くの変更が、特に、複数の隠蔽マクロブロックとそれ等の４×４ブロックが合成される順序に関して、可能であるということは注意されるべきである。しかしながら、下記の説明は、広範囲の目標とされるハードウェア／ファームウェア／ソフトウェア・プラットフォームの構造及び／又は制約に適合させる及び／又は調和させるために行われる関数および実装の選択を反映する。

アルゴリズムへの入力
１又は複数の実施形態において、空間的隠蔽アルゴリズムは、下記のように、２つの型の入力を利用する。

［消失地図(loss map)］
消失地図は、上述で説明されたマクロブロック誤り検出処理によって生成されるマクロブロック２値地図による単純な１ビットである。再同期化処理の間に誤りによって損壊されたか或いは飛ばされた／逃されたか、の何れかであり、そして、隠蔽される必要がある、全てのマクロブロックは‘１’でマークされる。残りのマクロブロックは‘０’でマークされる。

図１１は、空間的誤り隠蔽システムの一実施形態における使用のための消失地図１１００の一実施形態を示す。消失地図１１００は、健全なマクロブロックは“０”でマークされ、そして、損壊された或いは消失されたマクロブロックは“１”でマークされる、映像フレームと関連付けられるマクロブロックの地図を説明する。また、消失地図１１００は、空間的誤り隠蔽システムの一実施形態において隠蔽データを生成するためにマクロブロックが処理される順序を示す方向標識１１０２も説明する。

［健全な隣接情報(Healthy Neighbor Information］
下記は、空間的誤り隠蔽システムの一実施形態において隠蔽データを生成するために隠蔽アルゴリズムにおいて使用される、健全な隣接ブロックからの情報の３つの分類を識別する。

ａ． マクロブロック符号化型（イントラ＿１６×１６或いはイントラ＿４×４の何れか）。
ｂ． もしマクロブロック符号化型がイントラ＿１６×１６ならば、その時、イントラ＿１６×１６予測（指向性）モードが使用される。もしマクロブロック符号化型がイントラ＿４×４ならば、その時、構成要素である１６個のイントラ４×４予測（指向性）モードが使用される。
ｃ． それぞれの構成要素４×４ブロックに対する（非ゼロ）係数の数を示す非ゼロ指標値。

これ等の情報断片が、マクロブロック・パラメータ緩衝記憶装置、例えば図７に示される緩衝記憶装置７２４、中に記憶されるデータ構造を介してアクセスされる。

マクロブロック・レベルにおける処理の順序
１つの実施形態において、利用可能な因果的隣接ブロックからの情報のみが使用される。しかしながら、他の実施形態においては、非因果的隣接ブロックからの情報も組み入れることが可能である。このようにして、利用される隣接ブロックの因果的構造に従って、隠蔽マクロブロックの処理／合成順序は、図１１に説明されるように、ラスタ・スキャン・パターン（即ち、左から右へそして上から下へ）に従う。一旦特別な消失地図を用いて発動されると、空間的隠蔽処理はラスタ・スキャンの順序で１度に１つのマクロブロックずつ消失地図を走査することを開始し、そして、該示される順序で１度に１つずつ指定されたマクロブロックに対する隠蔽データを生成する。

マクロブロック・レベルにおいて利用される隣接ブロック(Utilized neighbors at the macroblock level)
図１２は隠蔽されるべきマクロブロック１２０２及びその４個の因果的隣接ブロック(causal neighbors)（Ａ、Ｂ、Ｃ、及びＤ）の一実施形態を示す。隣接ブロックの有用性に関する１つの条件は、利用可能性は隠蔽マクロブロックのフレーム境界に対する相対的な位置によって影響され／特徴付けられるという意味での、その‘利用可能性’である。隣接するマクロブロックの型あるいはスライスとの関連は重要ではない。従って例えば、フレーム境界に沿って置かれてない隠蔽マクロブロックは４個全て利用可能な隣接マクロブロックを有する、それに対し、フレームの左境界に置かれる隠蔽マクロブロックは利用不可能な隣接マクロブロックＡ及びＤを有する。

図１３は、該隠蔽処理が、それぞれのブロックに対するイントラ＿４×４予測（指向性）モードを決定するために、それぞれの隠蔽マクロブロックに属する全１６個のイントラ＿４×４ブロックを走査する順序を説明するマクロブロック１３００を示す。例えば、マクロブロック１３００はそれぞれのブロックに関連付けられる順序指標値を示す。

４×４ブロック・レベルにおいて利用される隣接ブロック
図１４は隠蔽されるべきマクロブロック１４０２と該隠蔽処理において使用されるべき隣接マクロブロック（一般的に１４０４で示される）からの１０個のブロックを示す。空間的誤り隠蔽アルゴリズムは、利用可能な隣接ブロックから推論される指向性の特性を隠蔽されるべきマクロブロックへ伝播することを介して映像信号の局所的方向構造を保持する。この推論と伝播は４×４ブロックのブロック内で起こる。従って、隠蔽されるべきそれぞれの４×４ブロックに対して、影響を与える隣接ブロックの集合が明らかにされることが出来る。

マクロブロック・レベルで外部の隣接ブロックの１部である、影響を与える隣接ブロックの場合には、利用可能性の属性は該隣接ブロックの親ブロックから引き継がれる。例えば、このような４×４ブロック及びその関連する情報は、もしその親が上述で説明されたように利用可能であるならば、利用可能である。

隠蔽されるべきマクロブロックの１部である、影響を与える隣接ブロックの場合には、利用可能性は、図１３を参照して説明されるようにマクロブロックの処理順序に関連して明確にされる。このようにして、潜在的に影響を与える４×４隣接ブロックは、もしそれが、４×４ブロック走査順序において、既に遭遇および処理されているならば利用可能であり、その他の場合は利用不可能である。

指向性の伝播とイントラ＿４×４予測モードの決定(Directivity information propagation and intra _4×4 prediction determination)
隠蔽マクロブロック合成における第１段階は、マクロブロックの型と１０個の外部の影響を与える４×４隣接ブロック（４個の異なる隣接マクロブロックから導かれる）と関連するイントラ予測モード情報を対応する適切なイントラ＿４×４予測モードに写像することである。

１つの実施形態において、もし外部の影響を与える４×４隣接ブロックがイントラ＿４×４符号化されたマクロブロックに属するならば、写像処理は自明である（恒等写像(identity mapping））。全ての他の（親）マクロブロックの型に対して、写像則が下記のように定義される。

１つの実施形態において、マクロブロック境界を越える隠蔽結果の滑らかさを向上させること、そして従って、全ての外部の親マクロブロック型の写像を、イントラ＿４×４型およびイントラ＿１６×１６型に対するものを除いて、親マクロブロック位置の関数であるようにすることによって、主観的品質を改善すること、が可能である。例えば、上記の最後の項目における置換則は下記のように変更される、
親＝Ｂの場合、モード０、
親＝Ａの場合、モード１、
そしてその他の場合、モード２（ＤＣ）。

クリーク(Cliques)
図１５は、４×４隣接ブロックと隠蔽されるべき４×４ブロックとの間の関係を説明する、４つのクリーク型（clique types）（１−４）の一実施形態を示す。例えば、図１２で識別されるそれぞれ４つの影響を与える隣接ブロック（Ａ、Ｂ、Ｃ、Ｄ）は、隠蔽されるべき４×４ブロック１２０２と共に、特定のクリーク型を定義するために使用されることが出来る。クリークは重要である、その理由は、その構造が、影響を与える隣接ブロックから隠蔽されるべき４×４ブロックへの、指向性情報の伝播に直接的な影響を有するからである。

クリーク型１は１５０２に一般的に示される。このクリークにおいて（及び全てのクリークにおけるあのメイラー(mailer)に対して）影響を与える４×４隣接ブロック１５０４は、１５０６で説明される９個の可能性のうちの１つによって与えられるイントラ＿４×４予測モード分類を有することが出来る。８個の方向予測モード、即ち｛０、１、３、４、５、６、７、８｝の１つに類別される、影響を与える４×４隣接ブロック１５０４は、識別された方向予測モードに平行に走る何らかの形状の方向構造（即ち、境界または格子）があることを暗示する。モード２は方向構造を暗示しない、そしてそれ故、隠蔽されるべき４×４ブロックの方向構造に影響を与えない、ということに注意。

影響を与える４×４隣接ブロック１５０４の隠蔽されるべき４×４ブロック１５０８に関する相対的位置関係のために、該影響を与える隣接ブロックに存在する全ての方向構造が、隠蔽されるべき４×４ブロック１５０８中に拡張或いは継続されて、それに影響を及ぼすということは必ずしもありそうにない。実際、１５０６のモードにおいて説明される黒塗りされた方向矢印に平行な方向構造のみが隠蔽されるべき４×４ブロック１５０８に影響を及ぼす可能性を有する。このようにして、クリーク型１は、影響を与える４×４隣接ブロック１５０４から隠蔽されるべき４×４ブロック１５０８へのモード３及び７のみの伝播を許容する。このようなものとして、クリークは、ある決まったモードを許容しそしてある決まった他のモードを停止する、指向性伝播フィルターを定義する、ということが言われることが出来る。このようにして、図１５は４個のクリーク型（１−４）を説明し、そして、黒塗りされた方向矢印はそれぞれの型のための関連する許容モードを示す。

隠蔽の指向性への寄与の決定(Determining Contributions to Concealment Directivity)
支配するクリークに基づいて伝播することを許容される、影響を与える複数の隣接ブロックのイントラ＿４×４予測モードは共同して隠蔽されるべき４×４ブロックの方向特性に影響を及ぼし、そして、それを決定する（即ち、推定する）役割を有する。複数の影響を与える隣接ブロックからのこの協同した影響の結果として、合成指向性特性が計算される処理は下記のように説明されることが出来る。

図１５において説明される８方向のイントラ＿４×４予測モード（即ち、ＤＣモードを除く全てのモード）のそれぞれは下記によって示される単位ベクトルによって表されることができ、
ｃｏｓθｉ＋ｓｉｎθｊ
そして、式の説明する方向矢印と同じ方向に向けられることが出来る。ここにおいて、θはｘ軸の正の向きと８個のモードの任意の１つと関連付けられる方向矢印との間にある角である。単位ベクトルｉおよびｊは、それぞれ、ｘ軸およびｙ軸に沿う単位ベクトルを表す。ＤＣモード（モード２）はゼロ・ベクトル０ｉ＋０ｊによって表される。

もし、特別な４×４ブロックに対して、特定されるイントラ＿４×４予測モードが、この４×４領域内の方向構造を捉える、実際に大変良い相手であるならば、このモードに基づく予測もまた大変‘小さな’残差への極めて上首尾な先導であることが期待される。これに対する例外は、信号の指向性の特性が４×４ブロック境界を越えて不連続を有する場合に起こる。上述の好適なそして統計的に更により普通に起こる状態の下では、残差信号の変換と量子化の結果としての非ゼロ係数の数もまた大変小さい。従って、イントラ＿４×４符号化されたブロックに関連付けられる非ゼロ係数の数は特定される予測モードが該ブロック中のデータの実際の方向構造と如何に精確に合うかの尺度として使用されることが出来る。正確には、非ゼロ係数の増大する数は、選択された予測モードが該４×４ブロックの方向的性質を記述する精確さの劣化水準に対応する。

１つの実施形態において、影響を与える隣接ブロックの指向性が暗示する個別的な寄与は単位ベクトルとして表現され、そして、合成指向性を作るために、（ベクトル和で）一緒に加算される。しかしながら、より精確な指向性情報にはより重く重み付けすることが好ましい。これを達成するために、パラメータ“非ゼロ係数の数”に対する全ての許容値の集合Ｎ＝｛０，１，２，３．．．１６｝上の正の非増加関数が定義される。１つの実施形態において、この関数は下記により与えられる。

Ｗ（ｎ）＝｛１０，７，５，３，３，１，１，０．５，０．５，０．５，０．５，０．５，０．５，０．５，０．５，０．５，０．５｝
上記の関数はベクトル和における重みをもたらす。より小さい“非ゼロ係数の数”はより大きな重みに導くこと、そして、逆も真であること、は注目すべきである。
上述の知見に基づいて、合成指向性（即ち、隠蔽されるべき４×４ブロックに対して推定された指向性）を与える計算は下記のように表されることが出来る。

隠蔽されるべき該４×４ブロックに対する指向性の構造を決定するための処理の最終段階は合成ベクトルｄ^→を量子化することである。

図１６は合成方向ベクトルｄ^→を量子化する処理を説明するモード図を示す。１つの実施形態において、プロセシング・ロジック８０２は上述で説明された合成ベクトルを量子化するために構成される量子化器のロジックを具備する。該量子化器のロジックは２段階の量子化器を具備する。第１段階は、その入力をゼロ・ベクトル或いは非ゼロ・ベクトルの何れかとして類別する、大きさ量子化器を具備する。ゼロ・ベクトルは円形領域１６０２によって表され、そして、予測モード２に関連付けられる。非ゼロ・ベクトルは円形領域１６０２の外のベクトルによって表され、そして、２とは異なる予測モードに関連付けられる。第１段階からの非ゼロ出力に対して、第２段階は、その入力を８方向のイントラ＿４×４予測モード（即ち、楔形の半無限の入れ物）の１つに類別するための位相量子化を実行する。例えば、領域１６０４の中の合成ベクトルはモード０に量子化される、等々。

上述の処理の実施形態は隠蔽されるべき大多数の４×４ブロックに対する隠蔽結果を提供するけれども、出力（即ち、最終類別）が再調整される必要がある状況がある。これ等の状況は２つの範疇、即ち、“伝播則(Propagation Rules)”及び“停止則(Stop Rules)”の下でグループ化されることが出来る。

伝播則＃１：対角方向類別の一貫性(Diagonal Classification Consistency)
図１７は空間的誤り隠蔽システムの一実施形態における対角方向類別の一貫性に関する伝播則＃１の一実施形態を説明する。規則＃１は、対角方向に（左下あるいは右下）予測される外部の影響を与える隣接ブロックが隠蔽されるべき４×４ブロックに対する最終類別を決定するためには、該影響を与える隣接ブロックは隣接ブロックそれ自身を全く同様に配向させていなければならない、ということを要求する。このようにして、図１７に示される４つの状況において、隠蔽されるべきブロックは１７０２で示され、そして、その外部の影響を与える隣接マクロブロックは１７０４で示される。規則＃１に従って、隣接マクロブロック１７０４は同じ向きを持つ隣接マクロブロック１７０６、１７０８のいずれかを有さねばならない。

規則＃１は通常のレート歪判定基準に基づくモード決定アルゴリズムが４×４ブロックの指向性の特性を精確に把握できない状況において利用されることが出来る。１つの実施形態において、規則＃１は他の非対角方向のモードに対応するために修正される。別の実施形態において、規則＃１は外部の影響を与える隣接ブロックに関連付けられる非ゼロ係数の数が期待されるほど小さくない（即ち、高信頼性類別ではない）場合にのみ条件付で課される。

伝播則＃２：世代差(Generation Differences)
図１８は空間的誤り隠蔽システムの一実施形態における世代差に関する伝搬則＃２の一実施形態を説明する。規則＃２は、指向性モードが隠蔽されるべきマクロブロックに属する４×４ブロック内の世代を越えて伝播する仕方に制約を加えることに関連する。世代の属性は近隣の４×４ブロックにおいて利用可能な最も真正な指向性情報の順序、詳しくはこの値プラス１で与えられる、に基づいて定義される。定義により、隠蔽されるべきマクロブロックの（利用可能な）外部隣接ブロックは世代０である。従って図１８において、指標４及び５を持つ４×４ブロックは共に第０世代の隣接ブロックを有するが故に、これ等のブロックは双方とも第１世代にある。

図１８に説明されるように、指標４及び５を持つ４×４ブロックは双方とも、（黒塗り矢印で）図示された同一予測モードを持つ共通の外部隣接ブロックに基本的には起因して、左下対角方向によって与えられる最終的な類別を有する。

先に説明された状態の下では、指標５を持つ４×４ブロックに対する左下対角方向の類別はその２つの隣接ブロック、即ち、指標６及び７を持つ４×４ブロック、に影響するはずである。しかしながら、規則＃２の制約下では、指標５を持つ４×４ブロックはその指向性情報を、伝播されるべき指向性情報と正確に同じ方向に沿って位置する、指標６を持つ４×４ブロックへのみ伝播することを許容される。白抜き矢印で図示されるように、指標５を持つ４×４ブロックから指標７を持つ４×４ブロックへの左下対角方向指向性情報の伝播は不可能である。

伝播則＃３：隣接ブロックを定義する鈍角(Obtuse Angle Defining Neighbors)
図１９は空間的誤り隠蔽システムの一実施形態における隣接ブロックを定義する鈍角に関する伝搬則＃３の一実施形態を説明する。イントラ予測モード３及び８を表す２つの単位ベクトルの間の位相不連続に基本的に起因して、境界がその向きを優雅に変えるにも拘らず、合成指向性の類別が全く予想されないことになる、殆ど局所的に境界に垂直になる、近隣環境が生ずる。例えば、局所的境界は１９０２で示され、そして、隠蔽ブロック１９０４は境界１９０２にほぼ垂直な合成指向性の類別を具備する。

１つの実施形態において、最大の位相分離を有する２つの影響を与える隣接ブロックの予測モード間の位相差を計算することによって、このような近隣事態を検出することが出来る。別の実施形態において、最終類別と寄与する隣接ブロックの任意の１つとの間の最大位相差を評価することが可能である。何れかの場合において、隣接ブロックの配置を定義する鈍角が検出される時、最終類別結果は適切に変更される。

停止則＃１：マンハッタン・コーナー(Manhattan Corners)
図２０は空間的誤り隠蔽システムの一実施形態におけるマンハッタン・コーナーに関する停止則＃１の一実施形態を説明する。ブロック２００２及び指標３を持つ４×４ブロックを参照し、同程度の重みを（非ゼロ係数の数を基に）仮定すると、それぞれ上の隣接ブロック及び左の隣接ブロック（即ち、モード０（垂直方向）及びモード１（水平方向））からの図示される指向性の影響は、残りの隣接ブロックからの他の重要な指向性の影響がないため、このブロックに対する最終指向性類別（即ち、予測モード）としてモード４（右下対角方向）という結果を与えた。

指標３を持つ４×４ブロックに関連付けられる指向性情報は、従って、少なくとも指標１２を持つ４×４ブロックに影響を与えた、そして、もしそれが指標１２を持つブロックに対する類別を支配したなら、指標１５を持つ４×４ブロックにも影響を与えたということは大いに有り得る。その伝播と潜在的影響を越えて、十分に大きな重みを仮定すると、モード４の影響は指標１２及び１５を持つブロックに対する類別を支配し、実際のコーナーの著しい歪みへと導く。

この望ましくない挙動を除くために、停止則＃１の１つの実施形態は指標３を持つ４×４ブロックを、ブロック２００４に図示されるように、左下対角方向と類別するために機能し、その影響はどの隣接ブロックにも伝播しない（用語“停止則”の所以である）。

色差チャネルのブロックの隠蔽(Concealment of Chroma Channel Blocks)
図２１は消失した色差(chrominance)（Ｃｂ及びＣｒ）チャネルの８×８画素ブロックを隠蔽するための空間的隠蔽アルゴリズムの一実施形態の作用を説明する。１つの実施形態において、このアルゴリズムは、適切な指向性類別を推量するための因果的な２つの隣接ブロック（即ち、上側及び左側隣接色差ブロック(neighboring chroma blocks)）の（イントラ）色差予測モード(chroma prediction mode)情報のみを、そして従って、隠蔽されるべき色差ブロックに対する色差予測モードを、利用する。例えば、隠蔽されるべき色差ブロックに対する色差予測モードを決定する目的で、上側及び左側隣接色差ブロックが如何に使用されるかを説明するために様々な例が示される。

非因果的隣接ブロックの情報を使用するＳＥＣの拡張バージョン(Enhanced Version of SEC Using Non-causal Neighbor Information)
１つの実施形態において、消失された区域を囲む領域からの更に多い空間的情報（輝度、色差、及び指向性）の利用は、消失されたデータを更に精確に修復することを可能にすることによって、空間的隠蔽アルゴリズムの品質を改善する。従って、空間的隠蔽に対する非因果的隣接ブロックからの情報を利用するために、２つの技術が下記に説明される。

隠蔽されるマクロブロックの下半分における平均輝度及び色補正
上述のように、ＳＥＣにおいて因果的な隣接ブロックのみからの情報が使用される場合、結果として得られる隠蔽は、非因果的隣接ブロックを持つ隠蔽される区域の境界に沿って明るさ（輝度チャネル）及び／又は色（色差チャネル）のミスマッチを生ずることがあり得る。これは利用される情報上の制約を考えれば容易に理解できる。従って、隠蔽品質を向上するための１つの直接的な機会はこれ等の大きなミスマッチを避けることである。これは完全な周囲／周辺環境を用いて隠蔽領域の更によい調合を可能にし、そして従って、境界の顕示性を低減する。また、非因果的隣接ブロックからの情報の使用は客観的品質尺度に関する著しい改善へと導く。

上述で説明されたように、ＳＥＣアルゴリズムの１つの実施例はゼロ残差のイントラ＿４×４復号に頼る。隠蔽されるべきそれぞれのマクロブロックに対して、該ＳＥＣ処理は、因果的隣接ブロックの輝度チャネルからの利用可能な指向性情報に基づいて輝度チャネルに関連する１６個のイントラ＿４×４予測モードが決定される対象である、イントラ＿４×４符号化マクロブロック・オブジェクト（いわゆる‘隠蔽マクロブロック’）を生成する。同様にして、因果的隣接ブロックの色差チャネルからの利用可能な指向性情報に基づいて、隠蔽マクロブロックのための色差チャネルの（共通）イントラ予測モードが決定される。１つの実施形態において、この設計への拡張は、利用可能な（因果的）隣接ブロックの輝度及び色差チャネル双方から併せて抽出される情報に基づく統一された仕方で隠蔽されるべきマクロブロックに対する指向性特性を解析しそして合成する、予備的処理段階の導入である。

一旦イントラ＿４×４予測モード及び色差イントラ予測モードが隠蔽マクロブロックに対して決定されると、それは残差のないデータを持つ標準復号処理に提示される。該隠蔽マクロブロックに対する復号器の出力は基準となる空間的隠蔽結果を与える。

本小節で説明される拡張において、上述で説明された基準（ゼロ残差）隠蔽マクロブロックは、非因果的隣接ブロックとの境界に沿った大きな輝度及び／又は色のミスマッチを避けるために、何らかの残差情報を用いて拡張される。特に、量子化されたＤＣ係数のみからなる残差データが隠蔽マクロブロックの下半分の輝度４×４ブロックに対して供給される。

図２２は拡張された空間的誤り隠蔽システムの一実施形態における隠蔽されるべき輝度マクロブロック及び色差（Ｃｒ、Ｃｂ）マクロブロックの図を示す。図２２に示されるように、量子化されたＤＣ係数のみからなる残差データは隠蔽マクロブロックの下半分の輝度４×４ブロックに対して（即ち、領域８から１５、８，１５を含む、までの指標を有する輝度ブロックに対して）供給される。同様の仕方で、双方の色差チャネルにおける指標２及び３を持つ４×４ブロックはＤＣ係数のみの残差を用いて拡張される。輝度チャネル及び色差チャネル双方に対して、補正ＤＣ値が垂直下に位置する非因果的隣接４×４ブロックの平均（輝度及び色）値に関して計算される。この拡張アルゴリズムの詳細は下記の節において提供される。

拡張された消失地図の生成(Enhanced Loss Map Generation)
前述のように、ビットストリームにおける誤りからの回復（即ち、検出及び再同期化）に関するアルゴリズムの最初の作用は消失範囲の識別（即ち、消失地図の生成）である。

図２３は拡張された消失地図の一実施形態を示す。隠蔽処理において利用可能な非因果的隣接ブロックからの情報の使用に対応するために、拡張された消失地図は、図１１に関して説明される基本的な消失地図の２つの状態‘０’及び‘１’に加えて、２つの新しいマクロブロック・マークアップ状態‘１０’及び‘１１’を導入する。

図２３で説明されるように、消失地図がビットストリーム誤りからの回復の直後最初に生成されるとき、復号器は消失領域の非因果的隣接ブロックである全てのマクロブロックも、状態‘１１’で、マークアップする。この時点では、これ等の非因果的隣接マクロブロックからの情報は復号器にとって未だ利用可能ではない。該拡張された空間的隠蔽処理は開始できない、そして、遅らされねばならない。

復号処理が消失領域のマークアップされた非因果的隣接ブロックに対するデータに出会いそして上首尾に復号すると、該処理は拡張された消失地図において該隣接ブロックの状態を‘１１’から‘１０’に変更し、最終的に図２３に示される消失地図を図２４に説明される地図に変換する。マークアップ値‘１０’はＳＥＣロジックにより要求される因果的情報がその特定のマクロブロックに対して利用可能であることを示す。

拡張された空間的隠蔽は何時行われることが出来るか？
利用可能な非因果的隣接ブロックを全く持たない、消失された／誤りのあるマクロブロックに対しては、上述で説明された空間的隠蔽処理が直ちに開始することが出来る。１又は複数の利用可能な非因果的隣接ブロックを有する、消失された／誤りのあるマクロブロックに対しては、拡張された空間的隠蔽を提供するために下記の行動が行われる。

１． 隠蔽マクロブロックは、予備的な復号プロセシング（即ち、その利用可能な非因果的隣接ブロックについてのマクロブロック・パケット生成）が完了されると同時に、合成されることが出来る。これは隠蔽マクロブロックを生成する待ち時間を軽減する。しかしながら、予備的復号と隠蔽のコンテキスト間の頻繁な切替は命令キャッシュの著しい混乱を招来し、この作用モードの実行効率を減ずることがある。

２． 隠蔽マクロブロックは、最初（値‘１１’で）マークアップされた全ての非因果的隣接マクロブロックについての予備的復号プロセシングが終了されると同時に、現在のスライスの復号の完了を待つことなく、一斉に合成されることが出来る。隠蔽の待ち時間と実行効率に関しては、このアプローチは最良の取引を提供することが出来る。この行動は、それぞれのマクロブロックの予備的復号の後消失地図の検査を要求することが出来る。

３． 隠蔽マクロブロックは、当初マークアップされていた非因果的隣接マクロブロックの最後のものを含むスライス（全体）に対する予備的復号処理が終了される時に、一斉に合成されることが出来る。これは、不本意なことに、隠蔽マクロブロックを生成する待ち時間を増大させることがあり得る。しかしながら、実装の複雑さと実行効率に関しては、それは最も単純でかつ最も効率的なアプローチである。

隠蔽マクロブロックに対するＱＰ _Ｙ の選択
ＳＥＣアルゴリズムによって合成される隠蔽マクロブロックにおける残差データの存在は、このマクロブロックにＱＰ_Ｙ値（輝度に関連する量子化パラメータ）を割り当てる必要性、及び、またこの量子化レベルでの残差情報を供給する必要性、を暗示する。ＳＥＣの基本バージョンにおいては、隠蔽マクロブロックにおける残差データはないので、ＱＰ_Ｙを扱う必要はない。このことは、利用可能な非因果的隣接ブロックを全く持たないマクロブロックに対する、拡張ＳＥＣバージョンにおいても真である。

１又は複数の利用可能な非因果的隣接ブロックを持つ隠蔽マクロブロックに対するＱＰ_Ｙの選択に関して、下記の２つの選択が利用可能である。
１． 該隠蔽マクロブロックはその真下の非因果的隣接ブロックのＱＰ_Ｙ値を受け継ぐことが出来る。
２． 該隠蔽マクロブロックに対する該ＱＰ_Ｙ値は、これ等のマクロブロック内部で起こる強いデブロッキング・フィルタリング作用を強化するために、比較的高い値に一様に設定されることが出来る。特に、拡張ＳＥＣの設計においては、これは、因果的及び非因果的隣接ブロックから伝播される潜在的に相異なる輝度及び色情報が出会う、隠蔽マクロブロックの赤道を垂直に横切る何らかのスムージングを可能にする。特にこの領域における強いデブロッキング・フィルタリングは主観的及び客観的両方の隠蔽性能を改良するために期待される。

拡張ＳＥＣの高水準構造(High-level Structure of Enhanced SEC)
図２５は拡張ＳＥＣを提供するための方法の一実施形態を提供する。拡張ＳＥＣはＳＥＣの基本バージョンの上に拡張を提供し、そして、隠蔽マクロブロックがその下に利用可能な隣接ブロックを有する場合にのみ起動させられる。これは、下の隣接マクロブロックも又消失されている或いは存在しない（即ち、隠蔽されるべき該マクロブロックは下側フレーム境界の上にある）場合には、該当しない。これ等の条件下では、拡張ＳＥＣはＳＥＣ基本バージョンと全く同様に作用する。

右側隣接ブロックが利用可能である隠蔽マクロブロックの右半分において同様な輝度及び色補正を達成するために、本明細書で説明される拡張ＳＥＣの基本的なアプローチを拡張することが可能であることは注意されるべきである。

図２６は拡張ＳＥＣの諸特徴を利用することが出来る場合を決定するための方法の一実施形態を提供する。

輝度チャネルにおける平均輝度補正(Mean Brightness Correction in the Luma Channel)
図２７は、拡張ＳＥＣシステムの一実施形態における平均輝度補正を達成するための方法において、使用される変数に対する定義を説明する。図２９はブロックを示し、そして、隣接する４×４ブロック上のイントラ＿0４×４予測を実行するために使用される７個の画素２９０２を識別する。

図２８は、拡張ＳＥＣの一実施形態における隠蔽マクロブロックの下半分における平均輝度（即ち、輝度チャネル）補正、を達成するためのアルゴリズムを提供する方法の一実施形態を示す。

ブロック２８０２では、隠蔽マクロブロックの各４×４ブロックにおいて、これ等の７個のハイライトされた画素の値のみの計算が、同じマクロブロック（ＭＢ）における、そして、Ｈ．２６４で特定される４×４ブロックの走査順序における、全ての必然的４×４ブロックに対して、
ａ． 全１６個の画素値および特に（ハイライトされた画素に）対応する７個の値からなる部分集合、
ｂ． （全画素値に基づいて）正確に、或いは、（単一のインター＿４×４予測モードに基づく方程式、下記参照、の使用により）近似的に、平均輝度値,
を繰り返し継続計算することにとって十分である。

ブロック２８０４及び２８０８において、イントラ＿４×４予測されるブロックに対する平均輝度値が、該４×４ブロックにおける１６個の個々の画素値の全てをまず計算し、次に全１６個の平均をとる（続いてわれわれの目的に対して適切な丸めがなされる）ことによる自明な方法で正確に計算される。しかしながら、同じ量を計算するもっと簡単でもっと速いしかし近似的な方法がある。このアプローチは特別なイントラ＿４×４予測モードにそれぞれ関連付けられる８＋３個の異なる（簡単な）方程式の利用を必要とする。この方程式の導出は困難ではないけれども、丸めの詳細に払われるある注意がその精度を改良する。

ブロック２８０６において、下側の隣接マクロブロックの最上位４×４ブロック、即ち走査指標｛０，１，４，５｝を持つブロック、に対する平均輝度値の計算はある復号プロセシングが行われることを要求する。効率的な部分復号化による非常に速い仕方で且つ非常に低い煩雑さでこれを達成するための枠組みが下記の別の節において呈示される。この枠組みを仮定すれば、この平均値を計算する２つの可能な異なる方法が下記に提供される。

１つの場合において、残差信号のＤＣ係数によって与えられる残差成分と同様に４×４ブロックを支配するイントラ予測モードによって与えられる平均輝度成分との併用によって、この平均値は４×４ブロック全体を越えた平均品質として計算されることが出来る。しかしながら、画素領域中の４×４ブロックの内容が一様ではない（例えば、水平或いは斜め境界、或いは何らかのテクスチャ）とき、結果として得られる平均値は上述の輝度補正アルゴリズムへの満足すべき入力を提供しない、というのは、それは４×４ブロックのどの断面をも表していないからである。

他の場合において、４×４ブロック全体について平均輝度を計算する代わりに、４×４ブロックに属する、輝度補正が生ずる領域に最も近いそしてそれ故最も良く相関する、最上列の４個の画素についてのみ平均輝度が計算される。

ブロック２８１０においては、隠蔽マクロブロックのブロック８および１０に対して、これは下側隣接ブロックのブロック０である。隠蔽マクロブロックのブロック９および１１に対して、これは下側隣接ブロックのブロック１である。隠蔽マクロブロックのブロック１２および１４に対して、これは下側隣接ブロックのブロック４である。隠蔽マクロブロックのブロック１３および１５に対して、これは下側隣接ブロックのブロック５である。

輝度補正がブロック｛８，９，１２，１３｝に対して生ずることが出来る仕方、更に精確にはこれ等のブロックに対する目標平均輝度値、は幾つかの可能性に開放されている。２つの可能性が下記に説明される。

１つの場合、目標平均輝度値は下側隣接ブロックの対応する４×４ブロックの平均輝度値として直接選ばれることが出来る。この場合、特に隠蔽ＭＢの赤道を垂直に横切る強力なデブロッキング・フィルタリングを強化することが大いに勧められる。

代わるものとして、例えばブロック８に対する目標平均輝度値は、隠蔽マクロブロックの中のブロック２及び下側隣接ブロックの中のブロック０の平均輝度値の平均値として選ばれることが出来る。隠蔽マクロブロックの中のブロック１０の平均輝度値は下側隣接ブロックの中のブロック０の平均輝度値の精確な複製であるから、ブロック８に対する目標平均輝度値をここで定義されるように設定することは垂直方向における円滑な調合を可能にする。これは強力なデブロッキング・フィルタリングに対する必要性を除去する。

ブロック２８１２においては、輝度補正された４×４ブロックにつき１つの整数乗算がこの段階によって必要とされる。

ブロック２８１４においては、輝度補正された４×４ブロックにつき１つの整数乗算がこの段階によって要求される。非ゼロ量子化されたＤＣ係数のみからなる残差信号を反転することは、単に、予測信号に一様に一定値を加算することによって可能である。従って、この段階により包含される再構成は大変低い計算上の煩雑さでしかない。

色差チャネルにおける平均色補正(Mean Color Correction in the Chroma Channels)
空間的隠蔽マクロブロックの下半分における平均色（即ち、色差チャネル）補正を達成するアルゴリズムは、その原理において、輝度補正に関して上述に示されるアルゴリズムに大変類似している。

図２２に関して、隠蔽マクロブロックの色差チャネルにおいて指標２及び３を持つ４×４ブロックは、それぞれ、下側隣接ブロックの同じ色差チャネルにおける指標０及び１を持つ４×４ブロックから、平均値補正情報を受け取る。この補正は全ての隠蔽マクロブロックに対するＣｂ及びＣｒ双方の色差チャネルにおいて起こる。

Ｈ．２６４ビットストリームにおける高効率部分イントラ復号
予測（イントラ或いはインター）符号化された４×４（輝度あるいは色差(luma or chroma)）ブロック内部の再構成された信号は下記のように表されることが出来る。

ここに、ｒ、ｐ及びΔ^〜は、それぞれ、再構成された信号（圧縮されてない原信号ｓに対する近似）、予測信号、及び圧縮された残差信号（圧縮されてない原残差信号Δ＝ｓ−ｐに対する近似）であって、それ等の全ては整数値をとる４×４行列である。

この４×４ブロック内部の再構成された信号の平均値（これは任意の統計量であることができる）は下記のように表されることが出来る。

上記の方程式に関して、下側隣接マクロブロックの４×４ブロックから平均輝度あるいは色差情報を抽出することはｐ^―およびΔ^〜―の利用可能性を必要とする。

Δ^〜―は、ビットストリームから直接か（イントラ＿４×４符号化された輝度ブロックの場合）或いはイントラ＿１６×１６符号化された輝度ブロック及びイントラ符号化された色差ブロックに対する何らかの簡単なプロセシングの後か、いずれか一方において利用可能である、圧縮された残差信号の量子化されたＤＣ係数にのみ単純に関係付けられる。後者の２つの場合のプロセシングは（部分的に実行される）４×４或いは２×２の逆アダマール変換（加算／減算のみを必要とする）とそれに続く４回或いは２回のリスケーリング演算（リスケーリング毎に１つの整数乗算を必要とする）を含む。

ｐ^―を近似的にのみ知ることは適切である、そして先に説明されたように、これは、予測モードにおいて使用される隣接画素値に関して使用されそして特定されるイントラ予測モードに依存する単一の方程式の使用によって達成されることが出来る。これはコンピュータ上では単純な処理であるように見えるけれども、イントラ予測において使用されるべき隣接画素値の利用可能性を明らかに必要とする。これは、翻って、行われるべき何らかの復号プロセシングを必然的に伴う。それにもかかわらず、要求される復号化は単に部分的であり、そして、下記に説明されるように、非常に効率的に実行されることが出来る。

下記はスライス境界直下に置かれるイントラ符号化されたマクロブロックについての知見である。

［１． スライス境界(slice boundary)直下に置かれるイントラ＿４×４符号化されたＭＢ］
ここで、我々は最上段の４個の４×４ブロック、即ち、スライス境界直下に置かれるイントラ＿４×４符号化されたマクロブロックの図２７におけるブロック指標ｂ∈｛０，１，４，５｝を持つブロック、に関心がある。

図３０はスライス境界直下のイントラ＿４×４ブロックの一実施形態を示す。直線ＡＡ’は上述のスライス境界を示す、そして、黄色の４×４ブロックは考察中の問題のブロックであり、イントラ＿４×４予測を実行するために使用されることが出来るはずの９個の隣接画素は利用不可能である、というのは、それ等はスライス境界の反対側に置かれ、そして従って、それ等は別のスライスに属するからである。

図３１はイントラ＿４×４ブロック内部の画素と隣接画素の命名を説明する。隣接画素｛Ｉ，Ｊ，Ｋ，Ｌ｝の利用可能性は、該問題の４×４ブロックに対する許容イントラ＿４×４予測モードは｛１（水平），２（ＤＣ），８（水平上方）｝、に限られることを暗示するのみである。何れの｛Ｉ，Ｊ，Ｋ，Ｌ｝も利用可能でない場合、これはＢＢ’が別のスライス境界あるいはフレームの左境界の場合であるが、唯一の許容イントラ＿４×４予測モードは｛２（ＤＣ）｝である。

従って、最も一般的な場合において、スライス境界直下に置かれるイントラ＿４×４符号化された４×４ブロックに対して復号化および再構成されることを必要とされる情報は下記の通りである。

１． イントラ＿４×４予測モード
２． 残差情報（量子化された変換係数）
３． 該４×４ブロックの直ぐ左側に置かれる４個の隣接画素｛Ｉ，Ｊ，Ｋ，Ｌ｝の値が必要とされる。この必要かつ十分なデータの集合は該問題の４×４ブロックの全ての画素値｛ａ，ｂ，ｃ，．．．，ｎ，ｏ，ｐ｝の再構成、そしてとりわけ、今度は直ぐ右側にある４×４ブロックの復号化のために必要とされる画素値｛ｄ，ｈ，ｌ，ｐ｝の再構成、を可能にする。

［２． スライス境界直下に置かれるイントラ＿１６×１６符号化されたＭＢ］
ここで再び、関心は、スライス境界直下に置かれるイントラ＿１６×１６符号化されたＭＢの最上段の４個の４×４ブロック（即ち、図２７におけるブロック指標ｂ∈｛０，１，４，５｝を持つブロック）についてである。

図３２はスライス境界の下に置かれるイントラ＿１６×１６符号化されたマクロブロックの一実施形態を示す。直線ＡＡ’は上述のスライス境界を示す、そして、黄色の４×４ブロックは考察中の問題の（イントラ＿１６×１６符号化された）ＭＢを構成し、イントラ＿１６×１６予測を実行するために使用されることが出来るはずの１７個の隣接画素は利用不可能である、というのは、それ等はスライス境界の反対側に置かれそして従って別のスライスに属するからである。ただ１６個の隣接画素−直線ＢＢ’の直ぐ左側に置かれる隣接画素−の潜在的利用可能性は、該問題のマクロブロックに対する許容イントラ＿１６×１６予測モードは｛１（水平），２（ＤＣ）｝に限られることを暗示する。直線ＢＢ’の直ぐ左側に置かれる何れの１６個の隣接画素も利用可能でない場合、これはＢＢ’が別のスライス境界あるいはフレームの左境界を示す場合であるが、唯一の許容イントラ＿１６×１６予測モードは｛２（ＤＣ）｝である。

問題のマクロブロックがイントラ＿１６×１６水平予測モードを使用して符号化される場合、その時、直線ＢＢ’の直ぐ左側に置かれた最上位４個の隣接画素のみの利用可能性は問題のマクロブロック内部の最上位４個の４×４ブロックを復号化および再構成するために適当である。このことは、イントラ＿４×４符号化されたマクロブロックにおける最上位４個の４×４ブロックのみの復号化を可能にする、上述で説明された‘隣接画素への最小依存性’の枠組みと矛盾しない。

他方、問題のマクロブロックがイントラ＿１６×１６＿ＤＣ予測モードを使用して符号化される場合（そして、スライス境界の直ぐ右側にあるのでもなければ左側のフレーム境界に接しているのでもない）、その時、直線ＢＢ’の直ぐ左側に置かれる全１６個の隣接画素の利用可能性が（他の全てと同様に）問題のＭＢ内部の最上位４個の４×４ブロックを復号化および再構成するために要求される。これは最上位４個の隣接画素のみでの十分性を破壊し、そして、われわれの目的のためには好ましくない。

これ等の知見に基づいて、問題の効率的部分復号化の枠組みは、下記の方法で、イントラ＿１６×１６ＤＣ予測モードの制限された使用を提案し、そして、それから利益を得る。

スライス境界の直下に置かれ、そして、スライス境界の直ぐ右側でも左側のフレーム境界にもない、イントラ＿１６×１６符号化されたマクロブロックに対してのみ、イントラ＿１６×１６ＤＣ予測モードの使用は避けられるべきであり、そして、これ等のマクロブロックに対してはイントラ＿１６×１６水平予測モードが一様に採用されるべきである。

［３． スライス境界直下に置かれたＭＢに対するイントラ符号化された色差チャネル］
本項における関心は、スライス境界直下に置かれたイントラ符号化されたマクロブロックの２つの輝度チャネル（Ｃｂ又はＣｒ）の何れかに属する、最上位の２つの４×４ブロック（即ち、図２２における集合｛０，１｝の中のブロック指標を持つブロック）についてである。

図３３はスライス境界直下の色差チャネルの一実施形態を示す。直線ＡＡ’は上述のスライス境界を示す、そして、黄色の４×４ブロックは問題の（イントラ符号化された）マクロブロックの色差チャネルの１つを構成する、この色差チャネルにおけるイントラ予測を実行するために使用されることが出来るはずの９個の隣接画素は利用不可能である、というのは、それ等はスライス境界の反対側に置かれ、そして従って、それ等は別のスライスに属するからである。ただ８個の隣接画素−直線ＢＢ’の直ぐ左側に置かれる隣接画素−の潜在的利用可能性は、該問題のＭＢに対する許容色差チャネルイントラ予測モードは｛０（ＤＣ），１（水平）｝に限られることを暗示する。直線ＢＢ’の直ぐ左側に置かれる何れの８個の隣接画素も利用可能でない場合、これはＢＢ’が別のスライス境界あるいはフレームの左境界を示す場合であるが、唯一の許容色差チャネルイントラ予測モードは｛０（ＤＣ）｝である。

問題の（イントラ符号化された）マクロブロックの色差チャネルがイントラ色差水平予測モードを使用して符号化される場合、直線ＢＢ’の直ぐ左側に置かれる最上位４個の隣接画素のみの利用可能性は問題のＭＢの対応する色差チャネル内部の最上位２個の４×４ブロックを復号化および再構成するために適当である。このことは、イントラ符号化されたマクロブロックの輝度チャネルにおける最上位４個の４×４ブロックのみの復号化を可能にする、上述で説明された‘隣接画素への最小依存性’の枠組みと矛盾しない。

同様に、問題の（イントラ符号化された）マクロブロックの色差チャネルがイントラ色差ＤＣ予測モードを使用して符号化される場合、直線ＢＢ’の直ぐ左側に置かれる最上位４個の隣接画素のみの利用可能性は問題のマクロブロックの対応する色差チャネル内部の最上位２個の４×４ブロックを復号化および再構成するために適当である。このことは再び、上述で説明された‘隣接画素への最小依存性’の枠組みと矛盾しない。

［Ｈ．２６４における残差情報の効率的な部分復号化(Efficient partial decoding of residual information in H.264)］
本項では、図３１における位置｛ｄ，ｈ，ｌ，ｐ｝に対する最終画素値の再構成に寄与する４×４ブロックの残差信号成分の第４、即ち最終、列のみを効率的に復号化する問題が述べられる。

残差４×４ブロックに対する変換処理に関連付けられる１６個の基底画像が下記の通りであると決定されることが出来る、ここに、ｓｉｊ（ｉ，ｊ∈０，１，２，３）はｉ番目の水平周波数チャネル及びｊ番目の垂直周波数チャネルに関連付けられる基底画像である。

ｓ００＝ ［ １ １ １ １
１ １ １ １
１ １ １ １
１ １ １ １ ］
ｓ１０＝ ［ １ ０．５ −０．５ −１
１ ０．５ −０．５ −１
１ ０．５ −０．５ −１
１ ０．５ −０．５ −１ ］
ｓ２０＝ ［ １ −１ −１ １
１ −１ −１ １
１ −１ −１ １
１ −１ −１ １ ］
ｓ３０＝ ［ ０．５ −１ １ −０．５
０．５ −１ １ −０．５
０．５ −１ １ −０．５
０．５ −１ １ −０．５ ］
ｓ０１＝ ［ １ １ １ １
０．５ ０．５ ０．５ ０．５
−０．５ −０．５ −０．５ −０．５
−１ −１ −１ −１ ］
ｓ１１＝ ［ １ ０．５ −０．５ −１
０．５ ０．２５ −０．２５ −０．５
−０．５ −０．２５ ０．２５ ０．５
−１ −０．５ ０．５ １ ］
ｓ２１＝ ［ １ −１ −１ １
０．５ −０．５ −０．５ ０．５
−０．５ ０．５ ０．５ −０．５
−１ １ １ −１ ］
ｓ３１＝ ［ ０．５ −１ １ −０．５
０．２５ −０．５ ０．５ −０．２５
−０．２５ ０．５ −０．５ ０．２５
−０．５ １ −１ ０．５ ］
ｓ０２＝ ［ １ １ １ １
−１ −１ −１ −１
−１ −１ −１ −１
１ １ １ １ ］
ｓ１２＝ ［ １ ０．５ −０．５ −１
−１ −０．５ ０．５ １
−１ −０．５ ０．５ １
１ ０．５ −０．５ −１ ］
ｓ２２＝ ［ １ −１ −１ １
−１ １ １ −１
−１ １ １ −１
１ −１ −１ １ ］
ｓ３２＝ ［ ０．５ −１ １ −０．５
−０．５ １ −１ ０．５
−０．５ １ −１ ０．５
０．５ −１ １ −０．５ ］
ｓ０３＝ ［ ０．５ ０．５ ０．５ ０．５
−１ −１ −１ −１
１ １ １ １
−０．５ −０．５ −０．５ −０．５ ］
ｓ１３＝ ［ ０．５ ０．２５ −０．２５ −０．５
−１ −０．５ ０．５ １
１ ０．５ −０．５ −１
−０．５ −０．２５ ０．２５ ０．５ ］
ｓ２３＝ ［ ０．５ −０．５ −０．５ ０．５
−１ １ １ −１
１ −１ −１ １
−０．５ ０．５ ０．５ −０．５ ］
ｓ３３＝ ［ ０．２５ −０．５ ０．５ −０．２５
−０．５ １ −１ ０．５
０．５ −１ １ −０．５
−０．２５ ０．５ −０．５ ０．２５ ］
これ等１６個の基底画像(basis images)を注意深く見れば、それ等の最後の列は実際ただ４個の別個のベクトルを含む、ということが明瞭に示される。このことは、４×１行列／ベクトルである最後の列は４次元ベクトル空間中にあり、そして従って、表現されるためには正確に４個の基底ベクトルを必要とするのであるから、直観的に明らかなはずである。

量子化された変換係数（即ち、レベル、ｚｉｊ ｉ，ｊ∈｛０，１，２，３｝）がビットストリームにおいて受信され、そして、係数ｗ’ｉｊ ｉ，ｊ∈｛０，１，２，３｝を生成するためにリスケールされて、逆変換に入ると（即ち、合成処理において基底画像を重み付けるための重みを生成すると）、上述の知見は、残差信号の最後の列に対する再構成の表現が下記のように書かれることが出来ることを示す。

（ｗ^，００−ｗ^，１０＋ｗ^，２０−ｗ^，３０／２）＊［１１１１］Ｔ＋．．．
（ｗ^，０１−ｗ^，１１＋ｗ^，２１−ｗ^，３１／２）＊［１０．５−０．５−１］Ｔ＋．．．
（ｗ^，０２−ｗ^，１２＋ｗ^，２２−ｗ^，３２／２）＊［１−１−１１］Ｔ＋．．．
（ｗ^，０３−ｗ^，１３＋ｗ^，２３−ｗ^，３３／２）＊［０．５−１１−０．５］Ｔ
一旦上記の括弧内の４個のスカラー量が計算されると、単なる右シフト及び加算／減算のみが要求されることに注意。

リスケーリング処理、すなわちｚｉｊ ｉ，ｊ∈｛０，１，２，３｝をｗ’ｉｊ ｉ，ｊ∈｛０，１，２，３｝に変換すること、に関するもう１つの知見は著しい複雑性の救済の別な源を明らかにする。ｚｉｊ ｉ，ｊ∈｛０，１，２，３｝をスケールするために使用されるリスケーリング因子ｖｉｊ ｉ，ｊ∈｛０，１，２，３｝も又、それ等の（ＱＰ_Ｙ％６）依存性に加えて、４×４行列内部に下記の位置構造を有することに注意。

Ｖ_００ Ｖ_１０ Ｖ_２０ Ｖ_３０
Ｖ_０１ Ｖ_１１ Ｖ_２１ Ｖ_３１
Ｖ_０２ Ｖ_１２ Ｖ_２２ Ｖ_３２
Ｖ_０３ Ｖ_１３ Ｖ_２３ Ｖ_３３
ここに、同一色を持つリスケーリング因子は所定のＱＰ_Ｙに対して同一値を有する。これは、下記のように、ｚｉｊからｗ’ｉｊを生成するために要求される乗算の数を低減することを促進するために使用されることが出来る。残差信号の最後の列を再構成するための上述の所定の重み付けされた基底ベクトル和の方程式において、基底ベクトル［１１１１］^Ｔを重み付けする第１の重みはｗ’_００とｗ’_２０の和を、これ等２つの重みの個々の値よりもむしろ、含む。従って、複数の整数乗算を必要とする、これ等２つの値を個々に計算しそしてそれ等を加算することに代わり、我々は最初にｚ_００とｚ_２０を加えそして次にｖ_００＝ｖ_２０を用いてそれ等をリスケールすることができて、ただ１度の整数乗算により同じ和の値を得る。（簡単化の目的のために、２の冪によって与えられる別の共通乗数因子はこの議論において明示的には述べられてない。）
この部分復号化を実行するための計算上の要求におけるこれ等の直接的な削減とは別に、残差信号の所望の最後の列のみを計算するための高速アルゴリズムも又設計されることが出来る。

この部分復号化処理のための少ない計算への要求に導く別の実用的な因子は、多くの場合、残差信号ブロック内部の最大１６個の量子化された係数のうちの、ただ数個、一般的には５未満、が実際には非ゼロであるということである。この事実と組み合わされて上述の処理は要求される乗算の数を更に殆ど半分にするために使用されることが出来る。

［下方隣接ブロックから隠蔽されるマクロブロックの下半分への指向性情報の組込み］
本項では、下方隣接マクロブロックからの指向性（垂直および垂直に近い（近垂直））構造についての情報を、隠蔽されるマクロブロックにおける輝度及び色補正に追加して隠蔽されるマクロブロックの中に組み込むことを可能にする枠組みが説明される。

第１段階はゼロ残差（即ち、基本バージョンのＳＥＣのような）隠蔽マクロブロックの合成であって、該マクロブロックにおいては下方８個の４×４ブロック（即ち、図２７において、ブロック指標ｂ∈｛８，９，．．．，１５｝を持つ該４×４ブロック）全てのイントラ＿４×４予測モードは一様に２（ＤＣ）に設定される。これは、隠蔽マクロブロックの上半分に対する上述の隣接マクロブロックからの、輝度／色および指向性情報双方の利用を可能にし、そして、該隠蔽マクロブロックの下半分を、該下方隣接マクロブロックからの類似の情報を組み込むために最も処理しやすい状態に置く。

隠蔽マクロブロックの下半分におけるこれ等８個の４×４ブロックの任意の１つに対して、再構成される信号は（前記）と同様に表されることが出来る。

上述において、イントラ＿４×４＿ＤＣ予測であるが故に、ｐは、変換領域において単一の非ゼロ（ＤＣ）係数に写像するきわめて単純な信号である。

我々は、更にΔ^〜（非ゼロ残差信号の形式における現在問題にしている４×４ブロックの隠蔽への精密化／拡張）は下記のように３つの項から構成されるとしよう。

我々はΔ^〜 _１＝−ｐと選ぶ。これは達成するのに極めて容易である、というのは、ｐ及びその変換領域の表現を計算することは直接的であるためである。これは上述の隣接ブロックからの一切の影響に関して４×４ブロック全体を清掃し、該４×４ブロックの再構成を下記によって与えられるようにする。

下方隣接マクロブロックの最上位４個の４×４ブロック（図２２における破線の４×４ブロック）の量子化された係数即ち指標が利用可能になると、効率的な（単純かつ精確）ブロック類別ロジックがこれ等の４個の４×４ブロックを２つのクラスに類別する、即ち、１．重要な垂直あるいは近垂直方向の構造を含む、２．垂直あるいは近垂直方向の構造をいずれも含まない。下方隣接ブロックに存在する垂直あるいは近垂直方向の構造についてのみ関心があることを理解することは容易である、というのは、これ等の方向的構造のみが隠蔽マクロブロックの下半分の中へ伝播する可能性がある方向的構造だからである。

下方隣接マクロブロックのこれ等４個の最上位４×４ブロックにおける２つの成分、即ち予測信号および残差信号、を有する、完全な再構成される信号は、復号が行われることを要求することによってこの類別化処理に悪影響を及ぼすことはない。下記に説明されるように、復号化は必要ない、そして、上述の類別化は残差信号、即ち、その変換領域の表現のみに基づいて精確に達成されることが出来る。この理由は下記の通りである。上述で説明されたように、スライス境界直下に置かれるイントラ＿４×４符号化された４×４ブロックは複数のモード｛１（水平），２（ＤＣ），８（水平上方）｝の１つを使用することのみで予測される。これ等のモードの何れも、それ等の良好な予測を提供することに関係する垂直あるいは近垂直指向性構造と良く適合することはない。従って、重要な垂直あるいは近垂直方向の構造の場合、これ等最上位４個の４×４ブロックにおける残差信号電力は特に水平周波数チャネルにおいてかなりの大きさである。このことは上述で説明された単純かつ精確な類別化を可能にする。全く同様な議論が、イントラ＿１６×１６符号化された下方隣接ブロックにおける、及び、イントラ符号化された下方隣接ブロックの色差チャネルにおける、最上位の４×４ブロックにたいして成立する。

もしイントラ符号化された下方隣接ブロックにおける最上位の（輝度あるいは色差チャネル）４×４ブロックがクラス２にあると類別されるならば、その時、それは上述で説明されたように輝度／色補正を与えるのみである。

もしイントラ符号化された下方隣接ブロックにおける最上位の（輝度あるいは色差チャネル）４×４ブロックがクラス１にあると類別されるならば、その時、それは次に説明される技術によって画素領域すなわち輝度／色および指向性の双方におけるその完全な情報を与える。

１つの実施形態において、下方隣接ブロック、即ち、クラス１として類別されるその４×４ブロックに存在する、垂直或いは近垂直方向の構造により影響されると決定される隠蔽マクロブロックの下半分における４×４ブロックに対して、本技術は、下記の等式が成り立つことを具備する。

、特に、

、及び、

この影響の伝播が起こる枠組みは下記に説明され、そして、基本的なゼロ残差隠蔽マクロブロック合成処理における指向性情報伝播に極めて類似している。下記はΔ^〜 _２及びΔ^〜 _３に対する上述の選択の結果を考慮する。

下方隣接マクロブロックにおけるブロックｉ，ｊ∈｛０，１，２，３｝はクラス１にあると類別される、そして、その再構成された信号、予測信号の成分、及び、残差信号の成分はそれぞれｒ_ＬＮ，ｉ、ｐ_ＬＮ，ｉ及びΔ^〜 _ＬＮ，ｉによって表される、ということを仮定する。下添字‘ＬＮ’は‘下方隣接ブロック（Ｌｏｗｅｒ Ｎｅｉｇｈｂｏｒ）’を意味し、‘ｉ’は考察するブロックの指標を意味する。

上述のΔ^〜 _２及びΔ^〜 _３は明らかに次式へ導き、

下方で隣接するクラス１の４×４ブロックの画素領域内容の、隠蔽マクロブロックの下半分内部の（存在する方向的特徴に基づいて）適切に選択される４×４ブロックの中への、正確な複製／再生を可能にする。

Δ^〜 _３＝Δ^〜 _ＬＮ，ｉ、は自明であり、そして、クラス１の下方隣接４×４ブロックの残差信号、即ち、量子化された係数、レベル、を隠蔽４×４ブロックの残差信号の中へただ複製することを引き起こす。

Δ^〜 _２＝ｐ_ＬＮ，ｉ、はそれほど自明ではないが、しかし、それでも極めて簡単な方法で達成されることが出来る。Δ^〜 _２に対するこの選択は明らかに、クラス１の下方隣接４×４ブロックの予測信号成分を考慮することを可能にする。もしクラス１の下方隣接４×４ブロックがイントラ＿４×４符号化されたＭＢの輝度チャネルの一部であるならば、ただ３つの型のイントラ＿４×４予測モードが可能であることを想起する。この場合、
○ もしイントラ＿４×４＿ＤＣモードが使用される場合、その時、上述で説明されたよに、ｐ_ＬＮ，ｉは極めて単純な変換領域構造を有し、そして、Δ^〜 _２は容易に計算されることが出来る。

○ もしイントラ＿４×４＿水平モードが使用される場合、その時、ｐ_ＬＮ，ｉはいくらかもっと複雑なしかしなお処理しやすい変換領域構造を有し、そして、Δ^〜 _２が計算されることが出来る。

○ もしイントラ＿４×４水平上方が使用される場合、その時、ｐ_ＬＮ，ｉの変換領域構造は更に複雑になり、Δ^〜 _２の計算を魅力の乏しいアプローチにする。

大変良く似た議論がイントラ＿１６×１６符号化されたマクロブロックの輝度チャネル或いはイントラ符号化されたマクロブロックの色差チャネルの何れかを起源とするクラス１の下方隣接４×４ブロックに対して成立する、ただし例外として、これ等の場合においては、イントラ＿４×４水平上方に対応するイントラ予測様式が存在しないこと、そして、Δ^〜 _２の計算にたいする条件は更にもっと歓迎すべきものである。

これ等の知見に基づいて、下方隣接マクロブロックからの輝度／色及び指向性双方の情報を組み込むための現在取り上げている枠組みは、下記の方法でイントラ＿４×４ＤＣ予測モードの好ましい／偏った使用を提案しそしてそこから利益を得る。

スライス境界直下に置かれるイントラ＿４×４符号化されたマクロブロックの最上位４個の４×４ブロックに対してのみ、そして、これ等の４×４ブロックの１つに著しい垂直あるいは近垂直方向の構造がある場合にのみ−この場合３つの許容されるイントラ＿４×４予測モードの何れも良い予測子をもたらさない−イントラ＿４×４＿ＤＣモードを一様に選択しそして採用しなさい。

クラス１の下方隣接４×４ブロックの全て揃ったデータが隠蔽ＭＢの下半分における４×４ブロックに属する選択部分集合に影響する仕方は該クラス１のブロックに対する検出された指向性の特徴に単純に依存する。該クラス１の４×４ブロック（符号および大きさ）の傾きに関する更に精緻な類別は伝播進路を識別するために使用されることが出来る。

従って、本明細書において、空間的誤り隠蔽システムの１又は複数の実施形態が図示され、そして、説明されてきたけれども、様々な変更が該実施形態の精神あるいは本質的な性格から逸脱することなく、該実施形態に行われることが出来る、ということが認められる。従って、本明細書における開示及び説明は実例による説明となることを意図されており、範囲の限定となることは意図されてない、本発明の範囲は下記の請求項において規定される。

図1は受信再生装置への伝送のために符号化されるべき映像フレームを示す。 図２は図1の映像フレームに含まれるマクロブロックの詳細図を示す。 図３はブロック及びその周囲の隣接画素の詳細図を示す。 図４はブロックの指向性の特徴を説明するために使用される９個の指向性モード（０−９）を図示する指向性モード図を示す。 図５は映像フレームを符号化するために使用されるＨ．２６４符号化処理の概略図を示す。 図６は空間的誤り隠蔽システムの一実施形態を備える通信網の一実施形態を示す。 図７は空間的誤り隠蔽システムの一実施形態の詳細図を示す。 図８は空間的誤り隠蔽システムの１又は複数の実施形態における利用に対して好適な空間的誤り隠蔽ロジックの一実施形態を示す。 図９は装置において空間的誤り隠蔽を提供するための方法を示す。 図１０は空間的誤り隠蔽システムの一実施形態における使用のためのマクロブロック・パラメータ緩衝記憶装置の一実施形態を示す。 図１１は空間的誤り隠蔽システムの一実施形態における使用のための消失地図の一実施形態を示す。 図１２は隠蔽されるべきマクロブロック及びその４個の因果的隣接ブロックの一実施形態を示す。 図１３は、該隠蔽処理がイントラ＿４×４予測（指向性）モードを決定するために全１６個のイントラ＿４×４ブロックを走査する順序を説明するマクロブロックを示す。 図１４は隠蔽されるべきマクロブロックと該隠蔽処理において使用されるべき隣接マクロブロックからの１０個のブロックを示す。 図１５は４×４隣接ブロックと隠蔽されるべき４×４ブロックとの間の関係を説明する４つのクリークの型（１−４）の一実施形態を示す。 図１６は空間的誤り隠蔽システムの一実施形態における合成方向ベクトルを量子化する処理を説明するモード図を示す。 図１７は空間的誤り隠蔽システムの一実施形態における対角方向類別の一貫性に関する伝播則＃１の一実施形態を説明する。 図１８は空間的誤り隠蔽システムの一実施形態における世代差に関する伝搬則＃２の一実施形態を説明する。 図１９は空間的誤り隠蔽システムの一実施形態における隣接ブロックを定義する鈍角に関する伝搬則＃３の一実施形態を説明する。 図２０は空間的誤り隠蔽システムの一実施形態におけるマンハッタン・コーナーに関する停止則＃１の一実施形態を説明する。 図２１は消失した色差（Ｃｂ及びＣｒ）チャネルの８×８画素ブロックを隠蔽するための空間的隠蔽アルゴリズムの一実施形態の作用を説明する。 図２２は拡張された空間的誤り隠蔽システムの一実施形態における隠蔽されるべき輝度マクロブロック及び色差（Ｃｒ、Ｃｂ）マクロブロックの図を示す。 図２３は拡張された消失地図の一実施形態を示す。 図２４は非因果的情報の受信を示すためのマークアップを含む図２３において示される拡張消失地図の一実施形態を示す。 図２５は拡張ＳＥＣを提供するための方法の一実施形態を提供する。 図２６は拡張ＳＥＣの諸特徴を利用することが出来る場合を決定するための方法の一実施形態を提供する。 図２７は、拡張ＳＥＣの一実施形態における隠蔽マクロブロックの下半分における平均輝度（即ち、輝度チャネル）補正、を達成するためのアルゴリズムを提供する方法の一実施形態を示す。 図２８は、図２７で示される方法において使用される諸変数に対する定義を説明する。 図２９はブロックを示し、そして、隣接する４×４ブロック上のイントラ＿４×４予測を実行するために使用される７個の画素を識別する。 図３０はスライス境界直下のイントラ＿４×４ブロックの一実施形態を示す。 図３１はイントラ＿４×４ブロック内部の画素と隣接画素の命名を説明する。 図３２はスライス境界の下に置かれたイントラ＿１６×１６符号化されたマクロブロックの一実施形態を示す。 図３３はスライス境界直下の色差チャネルの一実施形態を示す。

符号の説明

１００…符号化されるべき映像フレーム、１０２…マクロブロック、２０２…ブロック、３０２…隣接画素、４００…指向性モード図、５０４…予測ブロック、５０６…絶対差分和ブロック、６００…通信網、６０８、６１０…通信回線、６１６…通信路、６２０…誤り信号、６２８、６３０、６３２…通信路、７００…空間的誤り隠蔽システム、７０２…映像伝送、７１０…復号された映像データ、７１２…誤りが検出されたことを示す誤り信号、７１６…第１出力、７１８…第２出力、７２０…第３出力、７２２…マクロブロック・パラメータ書き込み、７２８…マクロブロック・パラメータ検索、７３０…隠蔽量子化パラメータ、７３２…隠蔽イントラ指向性モード、７４２…再構成されたブロック、８００…ＳＥＣロジック、８０８…内部データ・バス、８１４…マクロブロック・パラメータ受送信、８１６…誤り信号受信、９００…空間的誤り隠蔽方法、１０００…マクロブロック・パラメータ緩衝記憶装置、１１００…消失地図、１１０２…マクロブロックの処理順序を示す方向標識、１２０２…隠蔽されるべきマクロブロック、１３００…隠蔽処理におけるイントラ＿４×４ブロックの走査順序を示すマクロブロック、１４０２…は隠蔽されるべきマクロブロック、１４０４…隠蔽処理で利用される隣接マクロブロック、１５０２…クリーク型１、１５０４…影響を与える４×４隣接ブロック、１５０６…イントラ＿４×４予測モード、１５０８…隠蔽されるべき４×４ブロック、１６０２…ゼロ・ベクトル、１６０４…モード０に量子化される領域、１７０２…隠蔽されるべきブロック、１７０４…隣接マクロブロック、１７０６、１７０８…１７０４の隣接マクロブロック、１９０２…局所的境界、１９０４…隠蔽ブロック、２００２…ブロック、２００４…ブロック、２９０２…イントラ＿４×４予測で使用される７個の画素、ＭＢ…マクロブロック。

Claims (36)

1. 空間的誤り隠蔽のための方法であって、該方法は
   損傷を受けたマクロブロックを検出し、
   １又は複数の隣接マクロブロックに関連付けられる符号化されたマクロブロック・パラメータを得、
   該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成し、および
   該隠蔽パラメータを映像復号化システム中に挿入すること
   を含む方法。
2. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる指向性特性を決定することを更に含む請求項１の方法。
3. 該指向性特性に対する複数の単位ベクトルを決定することを更に含む請求項２の方法。
4. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる予測品質特性に基づきそれぞれの該単位ベクトルに重みを割り当てて、重み付けられたベクトルを作ることを更に含む請求項３の方法。
5. 隠蔽指向性の指標値を作るために該重み付けられたベクトルを結合することを更に含む請求項４の方法。
6. 該隠蔽指向性の指標値を選択された隠蔽モード指標値に量子化することを更に含む請求項５の方法。
7. 該生成することは隠蔽係数を０に設定することを含む請求項１の方法。
8. 空間的誤り隠蔽のための装置であって、該装置は
   損傷を受けたマクロブロックを検出するために構成されたロジック、
   １又は複数の隣接マクロブロックに関連付けられる符号化されたマクロブロック・パラメータを得るために構成されたロジック、
   該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成するために構成されたロジック、および
   該隠蔽パラメータを映像復号化システム中に挿入するために構成されたロジック
   を含む装置。
9. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる指向性特性を決定するために構成されたロジックを更に含む請求項８の装置。
10. 該指向性特性に対する複数の単位ベクトルを決定するために構成されたロジックを更に含む請求項９の装置。
11. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる予測品質特性に基づきそれぞれの該単位ベクトルに重みを割り当てて、重み付けられたベクトルを作るために構成されたロジックを更に含む請求項１０の装置。
12. 隠蔽指向性の指標値を作る目的で該重み付けられたベクトルを結合するために構成されたロジックを更に含む請求項１１の装置。
13. 該隠蔽指向性の指標値を選択された隠蔽モード指標値に量子化するために構成されたロジックを更に含む請求項１２の装置。
14. 隠蔽係数を０に設定するために構成されたロジックを更に含む請求項８の装置。
15. 空間的誤り隠蔽のための装置であって、該装置は
    損傷を受けたマクロブロックを検出するための手段、
    １又は複数の隣接マクロブロックに関連付けられる符号化されたマクロブロック・パラメータを得るための手段、
    該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成するための手段、および
    該隠蔽パラメータを映像復号化システム中に挿入するための手段
    を含む装置。
16. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる指向性特性を決定するための手段を更に含む請求項１５の装置。
17. 該指向性特性に対する複数の単位ベクトルを決定するための手段を更に含む請求項１６の装置。
18. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる予測品質特性に基づきそれぞれの該単位ベクトルに重みを割り当てて、重み付けられたベクトルを作るための手段を更に含む請求項１７の装置。
19. 隠蔽指向性の指標値を作るために該重み付けられたベクトルを結合するための手段を更に含む請求項１８の装置。
20. 該隠蔽指向性の指標値を選択された隠蔽モード指標値に量子化するための手段を更に含む請求項１９の装置。
21. 隠蔽係数を０に設定するための手段を更に含む請求項１５の装置。
22. 少なくとも１つのプロセッサによって実行される時、空間的誤り隠蔽を提供するために機能する命令を含むコンピュータ可読媒体であって、該コンピュータ可読媒体は
    損傷を受けたマクロブロックを検出するための命令、
    １又は複数の隣接マクロブロックに関連付けられる符号化されたマクロブロック・パラメータを得るための命令、
    該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成するための命令、および
    該隠蔽パラメータを映像復号化システム中に挿入するための命令
    を含むコンピュータ可読媒体。
23. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる指向性特性を決定するための命令を更に含む請求項１５のコンピュータ可読媒体。
24. 該指向性特性に対する複数の単位ベクトルを決定するための命令を更に含む、請求項１６のコンピュータ可読媒体。
25. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる予測品質特性に基づきそれぞれの該単位ベクトルに重みを割り当てて、重み付けられたベクトルを作るための命令を更に含む請求項１７のコンピュータ可読媒体。
26. 隠蔽指向性の指標値を作るために該重み付けられたベクトルを結合するための命令を更に含む請求項１８のコンピュータ可読媒体。
27. 該隠蔽指向性の指標値を選択された隠蔽モード指標値に量子化するための命令を更に含む請求項１９のコンピュータ可読媒体。
28. 隠蔽係数を０に設定するための命令を更に含む請求項１５のコンピュータ可読媒体。
29. 空間的誤り隠蔽のための方法を実行するために構成された少なくとも１つのプロセッサであって、該方法は
    損傷を受けたマクロブロックを検出し、
    １又は複数の隣接マクロブロックに関連付けられる符号化されたマクロブロック・パラメータを得、
    該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成し、および
    該隠蔽パラメータを映像復号化システム中に挿入すること
    を含む方法。
30. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる指向性特性を決定することを更に含む請求項２９の方法。
31. 該指向性特性に対する複数の単位ベクトルを決定することを更に含む請求項３０の方法。
32. 該１又は複数の隣接マクロブロックのそれぞれに関連付けられる予測品質特性に基づきそれぞれの該単位ベクトルに重みを割り当てて、重み付けられたベクトルを作ることを更に含む請求項３１の方法。
33. 隠蔽指向性の指標値を作るために該重み付けられたベクトルを結合することを更に含む請求項３２の方法。
34. 該隠蔽指向性の指標値を選択された隠蔽モード指標値に量子化することを更に含む請求項３３の方法。
35. 該生成することは隠蔽係数を０に設定することを含む請求項２９の方法。
36. 空間的誤り隠蔽のための方法であって、該方法は
    損傷を受けたマクロブロックを検出し、
    １又は複数の非因果的隣接マクロブロックに関連付けられる符号化されたマクロブロック・パラメータを得、
    該符号化されたマクロブロック・パラメータに基づいて隠蔽パラメータを生成し、および
    該隠蔽パラメータを映像復号化システム中に挿入すること
    を含む方法。

Images