JP2010041728A - 向上空間階層フレームの損失又は破損したブロックを予測する方法及びｓｖｃ復号器 - Google Patents

Abstract

【課題】本発明は、向上空間階層フレームの損失又は破損したブロックの予測に関する。
【解決手段】当該方法は、向上空間階層フレーム（Ｅ５）の損失又は破損したブロックを予測し、向上空間階層（ＥＬ）内の補助フレーム（Ｅ３）を、向上空間階層フレーム（Ｅ５）に対応する下位空間階層フレーム（Ｂ５）からの参照情報を用いて決定する段階、補助フレーム（Ｅ３）を用いて情報の削減されたブロックを生成する段階及び該情報の削減されたブロックを用いて損失又は破損したブロックを予測する段階、を有する。対応する下位空間階層フレームの参照情報は、任意の下位空間階層参照フレームと独立に復号化され、補助向上空間階層フレームは既に復号化されている。従って、計算量が低減される。情報の削減されたブロックの生成により、予測が一層円滑に行われる。これは、予測を鮮明にし、従ってユーザーにとって目立たなくする。
【選択図】図１

Description

本発明は、向上空間階層フレームの損失又は破損したブロックの予測に関する。

スケーラブル・ビデオ符号化（ＳＶＣ）は、同一のコンテンツを単一のビデオ・ストリーム内の異なる品質で供給するための手法である。品質の違いは、時間解像度、空間解像度又は信号対雑音解像度に関連しうる。

空間スケーラブル・ビデオ符号化では、ビデオの画像フレームは、空間基盤階層と１又は複数の向上空間階層で符号化される。基盤階層が低い解像度のビデオ・フレームを提供する一方で、向上空間階層はより高い解像度の同一のコンテンツを伝える。

ブロックが損失又は破損した場合、予測に必要な動き情報及び／又は残差情報は損失又は破損してしまう。

向上空間階層のフレームの損失又は破損したブロックの残差情報は、対応する下位空間階層のフレームから、コロケーテッド・ブロックの残差をアップスケーリングすることにより近似されうる。

同様に、損失又は破損した向上階層のブロックの予測は、対応する下位空間階層のフレームから、コロケーテッド・ブロックの予測をアップスケーリングすることにより近似されうる。

しかし、装置が一般的に特定の向上空間階層フレームを受信及び復号化可能な場合、該特定の向上空間階層フレームより下位階層のフレームは復号化されない。従って、データが損失した場合、対応する下位空間階層フレームの予測が先ず決定される必要がある。これは、対応する下位空間階層フレームがイントラ予測される場合に良好に機能する。しかし、対応する下位空間階層フレームが別の（場合によってはインター予測された）参照フレームを用いてインター予測される場合は、該対応する下位空間階層フレームの復号化は時間がかかる。

従来、損失又は破損した向上空間階層ブロックの予測を改善する努力が行われている。

本発明はこの努力に関与し、向上空間階層フレームの損失又破損したブロックを予測する方法を提案する。当該方法は請求項１の特徴を有する。

当該方法は、向上空間階層内の補助（ａｄｊｕｖａｎｔ）フレームを、該向上空間階層フレームに対応する下位空間階層からの参照情報を用いて決定する段階、前記補助フレームを用いて情報の削減されたブロックを生成する段階及び該情報の削減されたブロックを用いて損失又は破損したブロックを予測する段階、を有する。
対応する下位空間階層フレームの参照情報は、任意の下位空間階層参照フレームと独立に復号化され、補助向上空間階層フレームは既に復号化されている。従って、計算量が低減される。情報の削減されたブロックの生成により、予測が一層円滑に行われる。これは、予測を鮮明にし、従ってユーザーにとって目立たなくする。

ある実施例では、当該方法は、前記補助フレームを用いて情報の削減されたフレームを生成する段階及び前記損失又は破損したブロックに対応する前記下位空間階層フレームの下位階層ブロックからの動き情報を用い前記情報の削減されたフレーム内の前記情報の削減されたブロックを決定する段階、を更に有する。

本発明の該実施例は、前記補助フレームを前記下位空間階層にダウンスケールすることにより、前記情報の削減されたフレームを生成する段階を更に有してよい。

また、該実施例は、情報の削減されたブロックを前記対応する下位階層ブロックの残差と結合する段階、該結合を前記向上空間階層にアップスケールする段階及び該アップスケールした結合を用いて前記損失又は破損したブロックを隠蔽する段階、を更に有してよい。

更なる実施例では、当該方法は、前記動き情報を前記向上空間階層にアップスケールする段階、該アップスケールした動き情報を用い前記補助フレーム内の補助ブロックを決定する段階及び上位空間解像度を維持しながら該補助ブロックから詳細情報を除去する段階、を更に有する。

更に別の実施例では、当該方法は、前記補助フレームから詳細情報を除去することにより情報の削減されたフレームが上位空間解像度で生成されること、及び情報の削減されたブロックを決定する段階が前記動き情報を前記向上空間階層にアップスケールする段階を有すること、を特徴としてよい。

前記更なる実施例及び／又は更に別の実施例は、前記対応する下位階層ブロックの残差を前記向上空間階層にアップスケールする段階、該情報の削減されたブロックを前記アップスケールした残差と結合する段階及び前記損失又は破損したブロックを前記結合した結果で隠蔽する段階、を更に有してよい。

本発明は、向上空間階層フレームの損失又破損したブロックを予測するＳＶＣ復号器を更に提案する。当該ＳＶＣ復号器は請求項８の特徴を有する。

つまり、当該ＳＶＣ復号器は、前記向上空間階層内の補助フレームを前記向上空間階層フレームに対応する下位空間階層からの参照情報を用いて決定する手段、前記補助上位フレームを用いて情報の削減されたブロックを生成するブロック生成器及び該情報の削減されたブロックを用いて前記損失又は破損したブロックを予測する手段、を有する。

当該ＳＶＣ復号器は、前記補助フレームから情報の削減されたフレームを生成する手段及び前記損失又は破損したブロックに対応する前記下位空間階層フレームの下位階層ブロックからの動き情報を用い前記情報の削減されたフレーム内の前記情報の削減されたブロックを決定する手段、を更に有するよう実施されてよい。

当該ＳＶＣ復号器の別の実施例では、前記生成する手段は、前記補助フレームを前記下位空間階層にダウンスケールする。

当該ＳＶＣ復号器は、前記補助ブロックを前記下位階層ブロックの残差と結合する手段及び該結合の結果を前記下位空間階層から前記向上空間階層にアップスケールするアップスケール手段を更に有してよく、当該ＳＶＣ復号器は、該アップスケールした結合の結果を用いて前記損失又は破損したブロックを隠蔽する。

或いは、当該ＳＶＣ復号器は、前記動き情報を前記向上空間階層にアップスケールする手段、該アップスケールした動き情報を用い前記補助フレーム内の補助ブロックを決定する手段及び該補助ブロックの詳細情報を除去するフィルター、を更に有してよい。

或いは、当該ＳＶＣ復号器は、前記動き情報を前記向上空間階層にアップスケールする手段、前記補助フレームの詳細情報を除去するフィルター、及び前記アップスケールした動き情報を用い前記フィルターされた補助フレーム内の前記情報の削減されたブロックを決定する手段を更に有してよい。

当該ＳＶＣ復号器により前記損失又は破損したブロックを隠蔽するために、当該ＳＶＣ復号器は、前記下位空間階層の残差を前記向上空間階層にアップスケールする手段、該アップスケールした残差を前記情報の削減されたブロックと結合する手段を更に有してよく、当該ＳＶＣ復号器は、前記損失又は破損したブロックが前記結合の結果を用いて隠蔽されるようにする。

提案した方法及び／又は提案したＳＶＣ復号器は、前記下位空間階層フレームが該下位空間階層の別のインター予測されたフレームを参照するインター予測されたフレームである場合に特に有用である。

本発明の例である実施例は図面に示され、以下の記載で詳細に説明される。

ＳＶＣ符号化構造の誤り隠蔽の例である第１の実施例を示す。 ＳＶＣ符号化構造の誤り隠蔽の例である第２の実施例を示す。 ＳＶＣ符号化構造の誤り隠蔽の例である第３の実施例を示す。 イントラ予測された下位空間階層フレームを用いた誤り隠蔽の例であるフレームワークを示す。 インター予測された下位空間階層フレームを用いた誤り隠蔽の例であるフレームワークを示す。 向上空間階層の誤り隠蔽の例であるフローチャートを示す。

図１に、誤り隠蔽を具えた例である第１のＳＶＣ符号化構造を示す。図１は、画像フレームＥ１、Ｅ２、Ｅ３、Ｅ４及びＥ５を有する向上階層ＥＬ、並びに画像フレームＢ１、Ｂ３及びＢ５を有する下位階層ＬＬを示す。

向上階層ＥＬは、空間的及び時間的に高機能である。つまり、フレームＥ１、Ｅ３及びＥ５は、それらのフレーム内に含まれる四角形の数により示されるようにより高い空間解像度で、フレームＢ１、Ｂ３及びＢ５と同一の内容を有する。更に、向上階層ＥＬは、下位階層ＬＬ内に対応する下位階層フレームを有さないフレームＥ２及びＥ４を有するので、より高い時間解像度で同一の内容を提供する。

画像Ｅ５が損失又は破損されたとすると、破線で示すように、画像Ｅ５は画像Ｂ５のアップスケールされたもので置換されてよい。フレームＢ５がイントラ予測される場合、再構成は高速であり実現可能である。

しかし、画像Ｂ５が画像Ｂ３を用いてインター予測される場合、画像Ｂ５の再構成は先ず画像Ｂ３の復号化を必要とする。

フレームＢ３を復号化する代わりに、より高い空間解像度でＢ３と同一の内容を有する既に復号化されたフレームＥ３がダウンスケールされ（ＦＤＳ）、結果としてフレームＢ３の近似Ｂ３’を生じる。近似Ｂ３’は、次に、参照フレームとしてフレームＢ５の動き情報と一緒に、フレームＢ５を近似する別の近似Ｂ５’を生成するために用いられてよい。

別の近似Ｂ５’はされ（ＦＵＳ）、フレームＥ５を近似する更なる近似Ｅ５’を生じる。更なる近似Ｅ５’のブロックは、例えばフレームＥ５を更なる近似Ｅ５’で置換することにより、フレームＥ５の誤り又は破損したブロックを隠蔽するために用いられてよい。

図２に示すように、近似Ｅ５’は、動き情報（ＭＩＵＳ）をアップスケールすることにより及び残差情報（ＲＩＵＳ）をアップスケールすることにより生成されてもよい。アップスケールされた動き情報は、フレームＥ３内の参照ブロックを決定するために用いられる。フレームＥ３内に含まれる該参照ブロックは、次に動き補償され（ＭＣ）、そして詳細情報を除去するためにフィルターされる（ＩＦ）。

向上階層フレームＥ５の全体が失われた場合、近似予測Ｐ５’は、アップスケールされた動き情報（ＭＩＵＳ）とフレームＥ３を用いて決定されてよい。近似予測Ｐ５’は、次に情報をフィルターされ（ＩＦ）、フィルターされた予測Ｐ５’’になる。アップスケールされた残差情報とフィルターされた予測Ｐ５’’を用いて、失われたフレームＥ５の隠蔽Ｅ５’が決定される。

或いは、図３に示すように、フレームＥ３内の情報が先ずフィルターされ（ＩＦ）、フィルターされたフレームＥ３’を生成する。次に、アップスケールされた動き情報を用いた動き補償が実行され、結果としてフィルターされた予測Ｐ５’’を生じる。

図４は、イントラ予測された下位空間階層フレームを用いた誤り隠蔽の例であるフレームワークを示す。

向上階層ストリームＥＬＳが受信され、エントロピー復号器ＥＤによりエントロピー復号化される。エントロピー復号化された出力は、インバーティング・モジュールＩＴＩＱで逆変換され逆量子化される。モジュールＩＴＩＱの出力は、向上階層の残差である。該残差は、イントラ予測モジュールＩＰにより出力されるイントラ予測と結合される。或いは、モジュールＩＴＩＱにより出力された向上残差は、階層間のイントラ予測ブロック、つまりアップサンプリングされた下位階層ブロックと結合される。

該結合の結果は、デブロッキング・フィルターＤＦによりフィルターされる。通常の乱れのない処理では、デブロッキング・フィルターＤＦの結果は、復号化された向上階層フレームＥＬＦとして出力される。

１に等しいｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇを有する向上階層ブロックの如何なる欠陥の場合にも、下位階層の復号化回路が作動する。向上階層ストリームＥＬＳの場合、下位階層ストリームＢＬＳが受信されエントロピー復号化される（ＥＤ）。エントロピー復号化された出力は、逆変換され逆量子化され（ＩＴＩＱ）、次にイントラ予測モジュールＩＰにより出力される下位階層イントラ予測と結合される。該結合は、フィルターされる（ＤＦ）。フィルタリングの結果はアップスケールされ（ＭＵＳ）、アップスケールの結果が損失又は破損した向上階層ブロックの代わりに用いられる。

アップスケールした結果は、向上階層フレームＥＬＦの一部として出力される。そして、アップスケールした結果は、別の向上階層ブロックのイントラ予測に用いられる。

図５は、インター予測された下位空間階層フレームを用いた誤り隠蔽の例であるフレームワークを示す。

図４のように、向上階層ストリームＥＬＳからの符号化されたインター予測ブロックが受信され、エントロピー復号化され（ＥＤ）、逆変換及び逆量子化される（ＩＴＩＱ）。結果は、動き補償モジュールＭＣにより出力される動き補償されたブロックと結合される。

動き補償モジュールＭＣは、向上階層フレーム・バッファＥＦＢにアクセスする。向上階層フレーム・バッファＥＦＢは、先行フレーム、既に復号化された向上階層フレーム又は向上階層フレームの生成した近似のどちらかを有する。

誤り隠蔽の例では、バッファＥＦＢからのフレームは、モジュールＦＤＳ内でダウンスケールされ、下位階層の動き補償ＭＣのために用いられる。

ダウンスケールされ動き補償されたフレームは、次に下位階層の残差と結合され、結合した結果はデブロッキング・フィルターＤＦでデブロックされる。結果は下位階層フレーム・バッファＢＦＢに供給される。下位階層フレーム・バッファＢＦＢから、損失又は破損した向上階層ブロックに対応する下位階層ブロックの近似が取得される。下位階層ブロックの近似は、ブロック又はフレーム・アップスケーリング・モジュールで、向上空間階層にアップスケールされる。次に、アップスケールされた下位階層ブロックの近似は、復号化された向上階層フレームＥＬＦの一部として出力される。アップスケールされた下位階層ブロックの近似は、下位階層フレーム・バッファＥＦＢに更に格納される。下位階層フレーム・バッファＥＦＢから、ブロックが損失又は破損した向上階層ブロックを参照するかどうかが検索されてよい。

図６は、向上空間階層の誤り隠蔽の例であるフローチャートを示す。

第１の決定段階ＤＥＣ１で、向上階層ビデオ・ビット・ストリーム内の受信ブロックが復号化されるか否かが決定される。復号化される場合、段階ＤＲで、該受信ブロックは復号化され提供され、次に向上階層フレーム・バッファＥＦＢへ渡され、向上階層フレーム・バッファＥＦＢから出力される。

受信ブロックが復号化できない場合、第２の決定段階ＤＥＣ２で、対応する下位階層フレーム内のコロケーテッド・ブロックがイントラ予測されるか否かが決定される。下位階層フレーム内のコロケーテッド・ブロックがイントラ予測される場合、段階ＭＵＳで、該下位階層ブロックは向上階層にアップサンプリングされ、向上階層フレーム・バッファＥＦＢに渡される。

下位階層のコロケーテッド・ブロックがインター予測される場合、第３の決定段階ＤＥＣ３で、該下位階層のコロケーテッド・ブロックのインター予測のために参照される下位階層参照画像ブロックがイントラ予測されるか否かが決定される。下位階層参照画像ブロックがイントラ予測される場合、該下位階層のコロケーテッド・ブロックは、参照した下位階層ブロックを動き補償することにより、及び該動き補償した参照したブロックを該下位階層のコロケーテッド・ブロックの残差と結合することにより、再構成される。この結果は、段階ＭＵＳで、向上階層にアップサンプリングされ、向上階層フレーム・バッファＥＦＢに渡される。

参照した下位階層ブロックもインター予測される場合、段階ＦＤＳで、下位階層参照画像に対応する向上階層画像は下位階層にダウンサンプリングされる。インター予測された下位階層参照ブロックと関連するダウンサンプリングされた向上階層画像ブロックは、次に、参照された下位階層ブロックの代わりに、動き補償を用いて下位階層のコロケーテッド・ブロックを再構成するために、及び下位階層のコロケーテッド・ブロックの残差と結合するために、用いられる。再び、この結果は、段階ＭＵＳで、向上階層にアップサンプリングされ、向上階層フレーム・バッファＥＦＢに渡される。

対応する向上階層画像を下位階層にダウンサンプリングする代わりに、動き情報と下位階層のコロケーテッド・ブロックの残差が向上階層にアップサンプリングされてよい。次に、復号化できない受信ブロックの近似は、アップサンプリングされた動き情報を用いて、アップサンプリングされた残差及びインター予測された下位階層参照ブロックと関連した対応する向上階層画像を用いて生成されうる。該対応する向上階層画像のブロックは、先ず動き補償され、次にフィルターされる。或いは、対応する向上階層画像のブロックは、先ずフィルターされ、次に動き補償される。フィルタリングは、詳細情報の除去を通じてブロックが平滑化されるように、ダウンサンプリングによる情報の削減に対応するような方法で、行われる。

向上空間階層及び下位空間階層は、互いに隣接している必要はない。つまり、これらの２つの層の間に１又は複数の中間空間階層が存在してよい。該中間空間階層は、下位階層の空間解像度より高く向上階層の空間解像度より低い中間の空間解像度を有する。

Ｂ３’、Ｂ５’、Ｅ３’、Ｅ５’ 近似
ＢＦＢ 下位階層フレーム・バッファ
ＢＬＳ 下位階層ストリーム
ＤＦ デブロッキング・フィルター
Ｅ１〜Ｅ５、Ｂ１〜Ｂ５ フレーム
ＥＤ エントロピー復号器
ＥＬ 向上階層
ＥＬＦ 向上階層フレーム
ＥＬＳ 向上階層ストリーム
ＦＤＳ ダウンスケール
ＦＵＳ アップスケール
ＩＦ フィルター
ＩＰ イントラ予測モジュール
ＩＴＩＱ インバーティング・モジュール
ＬＬ 下位階層
ＭＣ 動き補償
Ｐ５’、Ｐ５’’ 近似予測

Claims (15)

1. 向上空間階層フレームの損失又は破損したブロックを予測する方法であって、当該方法は、
   −該向上空間階層フレームに対応する下位空間階層フレームからの参照情報を用い、該向上空間階層内の参照フレームを決定する段階、
   −該決定した参照フレームを用い、詳細情報の除去により平滑化される平滑化参照ブロックを生成する段階、
   −前記損失又は破損したブロックに対応する、前記下位空間階層フレームの下位階層ブロックの残差を前記向上空間階層にアップスケールする段階、及び
   −前記平滑化参照ブロック及び前記のアップスケールされた残差を用い、前記損失又は破損したブロックを隠蔽する段階、
   を有する方法。
2. −前記参照フレームを用い、平滑化された参照フレームを生成する段階、及び
   −前記対応する下位階層ブロックからの動き情報を用い、前記平滑化された参照フレーム内の前記平滑化参照ブロックを決定する段階、
   を有する請求項１記載の方法。
3. −前記平滑化された参照フレームを生成する段階は、前記参照フレームをダウンスケールする段階
   を有する、請求項２記載の方法。
4. −前記対応する下位階層ブロックの残差は、アップスケールの前に前記平滑化参照ブロックと結合され、
   −前記平滑化参照ブロックは、前記対応する下位階層ブロックの残差と一緒にアップスケールされる、請求項３記載の方法。
5. −前記対応する下位階層ブロックからの動き情報を前記向上空間階層にアップスケールする段階、
   −該アップスケールした動き情報を用い、前記参照フレーム内の平滑化されていない参照ブロックを決定する段階、及び
   −向上空間解像度を維持しながら該平滑化されていない参照ブロックからの詳細情報を除去し、前記平滑化参照ブロックを生成する段階、
   を有する請求項１記載の方法。
6. −前記動き情報を前記向上空間階層にアップスケールする段階、を更に有し、
   −前記平滑化された参照フレームは、前記参照フレームからの詳細情報を除去することにより、向上空間解像度で生成され、
   −前記対応する下位階層ブロックからアップスケールされた動き情報は、前記平滑化された参照フレーム内の前記平滑化参照ブロックを決定するために用いられる、請求項２記載の方法。
7. −前記平滑化参照ブロックを前記アップスケールされた残差と結合する段階、及び
   −前記損失又は破損したブロックを前記結合の結果で隠蔽する段階、
   を有する請求項５又は６記載の方法。
8. ＳＶＣ復号器であって、向上空間階層フレームの損失又は破損したブロックを予測し、当該ＳＶＣ復号器は、
   −前記向上空間階層フレームに対応する下位空間階層フレームからの参照情報を用い、該向上空間階層内の参照フレームを決定する手段、
   −該決定した参照フレームを用い、詳細情報の除去により平滑化される平滑化参照ブロックを生成するブロック生成器、
   −前記損失又は破損したブロックに対応する、前記下位空間階層フレームの下位階層ブロックの残差を前記向上空間階層にアップスケールする手段、及び
   −前記平滑化参照ブロック及び前記のアップスケールされた残差を用い、前記損失又は破損したブロックを隠蔽する手段、
   を有するＳＶＣ復号器。
9. −前記参照フレームを用い、平滑化された参照フレームを生成する手段及び
   −前記下位階層ブロックからの動き情報を用い、該平滑化された参照フレーム内の前記平滑化参照ブロックを決定する手段、
   を有する請求項８記載のＳＶＣ復号器。
10. −前記生成する手段は、前記参照フレームを前記下位空間階層にダウンスケールする、請求項９記載のＳＶＣ復号器。
11. −前記残差をアップスケールする前に、前記平滑化参照ブロックを前記下位階層ブロックの残差と結合する手段、を更に有し、
    −前記アップスケールする手段は、前記平滑化参照ブロックを前記対応する下位階層ブロックの残差と一緒に、前記下位空間階層から前記向上空間階層にアップスケールする、請求項１０記載のＳＶＣ復号器。
12. −前記対応する下位階層ブロックからの動き情報を前記向上空間階層にアップスケールする手段、
    −前記アップスケールした動き情報を用い、前記参照フレーム内の平滑化されていない参照ブロックを決定する手段、及び
    −向上空間解像度を維持しながら該平滑化されていない参照ブロックから詳細情報を除去し、前記平滑化参照ブロックを生成するフィルター、
    を有する請求項９記載のＳＶＣ復号器。
13. −前記動き情報を前記向上空間階層にアップスケールする手段、
    −向上空間解像度を保ちながら前記参照フレームから詳細情報を除去することにより、該参照フレームを平滑化するフィルター、及び
    −前記アップスケールした動き情報を用い、前記平滑化された参照フレーム内の情報の削減されたブロックを決定する手段、
    を更に有する請求項９記載のＳＶＣ復号器。
14. −前記平滑化参照ブロックを前記アップスケールされた残差と結合する手段を更に有し、
    −当該ＳＶＣ復号器は、前記損失又は破損したブロックを前記結合の結果で隠蔽する請求項１２又は１３記載のＳＶＣ復号器。
15. 前記下位空間階層フレームは、前記下位空間階層の別のインター予測されたフレームを参照するインター予測されたフレームである、請求項８乃至１４のいずれか一項記載のＳＶＣ復号器又は請求項１乃至７のいずれか一項記載の方法。

Images