JP2009531942A - エントロピ符号化効率を向上させる方法およびその方法を用いたビデオエンコーダおよびビデオデコーダ - Google Patents

Abstract

本発明は、ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｉｌｉｔｙ）階層をエントロピ符号化することにおいて符号化効率を上げる方法および装置に関するものである。
ビデオエンコーダは、入力ビデオフレームから少なくとも１つの品質階層を生成するフレームエンコーディング部と、現在品質階層の第１係数と対応し、前記少なくとも１つの品質階層に含まれた前記現在階層に隣接する下位階層の第２係数を参照してコーディングパスを選択するコーディングパス選択部、および前記選択されたコーディングパスによって前記第１係数を無損失符号化するパスコーディング部とを含む。

Description

本発明は、ビデオ圧縮技術に関するものであって、より詳しくはＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒ Ｓｃａｌａｂｉｌｉｔｙ）階層をエントロピ符号化において符号化効率を上げる方法および装置に関するものである。

インターネットを含む情報通信技術が発達するにつれて文字、音声だけでなく画像通信が増加しつつある。既存の文字中心の通信方式では消費者の多様な欲求を充足させることができず、このため、文字、映像、音楽など多様な形態の特性を収容できるマルチメディアサービスが増加しつつある。マルチメディアデータは、その量がぼう大であるため、大容量の格納媒体を必要とし、かつ伝送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するためには圧縮コーディング技法を用いるのが必須的である。

データを圧縮する基本的な原理はデータの重複（ｒｅｄｕｎｄａｎｃｙ）要素を除去する過程である。イメージで同じ色やオブジェクトが反復されるような空間的重複や、動画フレームで隣接フレームがほぼ変化のない場合や、オーディオで同じ音が反復続くような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した知覚的重複を除去することによって、データを圧縮することができる。一般的なビデオコーディング方法において、時間的重複はモーション補償に基づく時間的フィルタリング（ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒｉｎｇ）によって除去し、空間的重複は空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）によって除去する。

データの重複を除去した結果は、再び量子化過程によって所定の量子化ステップに従い損失符号化される。前記量子化された結果は最終的にエントロピ符号化（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）によって最終的に無損失符号化される。

現在、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）とＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）のビデオ専門家の集いであるＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）で進めているスケーラブルビデオコーディング標準（以下、ＳＶＣ標準という）では、既存のＨ．２６４に基づく多階層基盤のコーディング技術に関する研究が栄えている。特に、１つのフレームの品質またはビット率を徐々に向上させることができるようにＦＧＳ技術を採択する。

図１は、１つのフレームまたはスライス（１０：以下通称してスライスと記載する）を構成する複数の品質階層１１，１２，１３，１４の概念を示す図である。品質階層とは、ＳＮＲスケーラビリティをサポートするために１つのスライスを分割して記録したデータであって、ＦＧＳ階層が代表的な例であるが、これに限らない。複数の品質階層は、１つの基礎階層と少なくとも１つ以上のＦＧＳ階層１１，１２，１３で構成されうる。ビデオデコーダで測定されるビデオ画質は基礎階層１４のみが受信された場合、基礎階層１４と第１ ＦＧＳ階層１３が受信された場合、基礎階層１４、第１ ＦＧＳ階層１３および第２ ＦＧＳ階層１２が受信された場合、そして、すべての階層１１，１２，１３，１４が受信された場合順に向上される。

前記ＳＶＣ草案では、各ＦＧＳ階層間の関連性を用いてコーディングを実行する。すなわち、分離されたコーディングパス（重要パス、精製パスを含む概念である）によって１つのＦＧＳ階層の係数を用いて他のＦＧＳ階層をコーディングする。この時、対応するすべての下位階層の係数が０である場合には該当現在階層の係数は重要パス（ｓｉｇｎｉｆｉｃａｎｔ ｐａｓｓ）でコーディングし、前記対応する下位階層の係数のうち１つでも０ではない係数がある該当現在階層の係数は精製パス（ｒｅｆｉｎｅｍｅｎｔ ｐａｓｓ）でコーディングする。このようにＦＧＳ階層のある係数を互いに異なるパスでコーディングすることは対応する下位階層の係数によって前記係数の確率的分布が互いに明確に区分される現象に起因する。

図２は、離散階層の係数を参照して第１ ＦＧＳ階層のコーディングパスを選択した時、該当コーディングパスに対して０が発生する確率を示すグラフの例である。図２でＳＩＧは重要パスを、ＲＥＦは精製パスを指示する。図２を参照すると、離散階層の対応する係数が０であるため、重要パスでコーディングされる第１ ＦＧＳ階層の係数のうち０が発生する確率分布と、離散階層に対応する係数が０ではないため、精製パスでコーディングされる第１ ＦＧＳ階層の係数のうち０が発生する確率分布は多少明確に区分されることが分かる。このように０が発生する確率分布が明確に区分される場合には互いに異なるコーディングパス、すなわち互いに異なるコンテクストモデルによってコーディングすることでコーディングの効率を向上させることができる。

図３は、離散階層および第１ ＦＧＳ階層の係数を参照して第２ ＦＧＳ階層のコーディングパスを選択した時、該当コーディングパスに対して０が発生する確率を示すグラフの例である。図３を参照すると、精製パスでコーディングされる第２ ＦＧＳ階層の係数と、重要パスでコーディングされる第２ ＦＧＳ階層の係数との間に０が発生する確率が区別されず混ざっていることが分かる。すなわち、ＳＶＣ草案で開示されたコーディングパス別コーディング技法は、第１ ＦＧＳ階層のコーディングにおいては非常に効率的であるが、第２ ＦＧＳ階層以上のコーディングにおいてはその効率性が減少することもある。前記効率性の減少は、隣接する階層間には確率的な関連性が高いが、隣接しておらず多少離れている階層間には確率的な関連性が低いという事実に起因する。

本発明が解決しようとする課題は、複数の品質階層で構成されるビデオデータのエントロピコーディング効率を向上させることにある。

本発明が解決しようとする他の技術的課題は、複数の品質階層で構成されるビデオデータのエントロピコーディングにおいて計算の複雑性（ｃｏｍｐｕｔａｔｉｏｎａｌ ｃｏｍｐｌｅｘｉｔｙ）を減少させることにある。

本発明の技術的課題は、以上で言及した技術的課題に制限されず、言及されていないまた他の技術的課題は次の記載から当業者に明確に理解できるであろう。

前記技術的課題を達成するための本発明の一実施形態によるビデオエンコーダは、入力ビデオフレームから少なくとも１つの品質階層を生成するフレームエンコーディング部と、現在品質階層の第１係数と対応し、前記少なくとも１つの品質階層に含まれた前記現在階層に隣接する下位階層の第２係数を参照してコーディングパスを選択するコーディングパス選択部、および前記選択されたコーディングパスによって前記第１係数を無損失符号化するパスコーディング部と、を含む。

前記技術的課題を達成するための本発明の一実施形態によるビデオデコーダは、入力ビットストリームに含まれた少なくとも１つの品質階層のうち１つである現在階層に属する第１係数と対応する位置にあり、前記現在階層に隣接する下位階層に属する第２係数を参照してコーディングパスを選択するコーディングパス選択部と、前記選択されたコーディングパスによって前記第１係数を無損失復号化するパスデコーディング部、および前記無損失復号化された第１係数から現在階層のイメージを復元するフレームデコーディング部と、を含む。

前記技術的課題を達成するための本発明の一実施形態によるビデオエンコーディング方法は、入力ビデオフレームから少なくとも１つの品質階層を生成する段階と、現在階層の第１係数と対応する位置にあり、前記少なくとも１つの品質階層に含まれた前記現在階層に隣接する下位階層の第２係数を参照してコーディングパスを選択する段階、および前記選択されたコーディングパスによって前記第１係数を無損失符号化する段階と、を含む。

前記技術的課題を達成するための本発明の一実施形態によるビデオデコーディング方法は、入力ビットストリームに含まれた少なくとも１つの品質階層のうち１つである現在階層に属する第１係数と対応する位置にあり、前記階層に隣接する下位階層に属する第２係数を参照してコーディングパスを選択する段階と、前記選択されたコーディングパスによって前記第１係数を無損失復号化する段階、および前記無損失復号化された第１係数から前記現在階層のイメージを復元する段階と、を含む。

本発明によると、複数の品質階層で構成されるビデオデータのエントロピコーディング効率を向上させることができる。

また本発明によると、複数の品質階層で構成されるビデオデータのエントロピコーディングにおいて計算複雑性を減少させることができる。

以下、添付された図面を参照して本発明による一実施形態を詳細に説明する。

図４は、１つのスライスを１つの基礎階層と２つのＦＧＳ階層で表現する過程を示す図である。最初にオリジナルスライスは第１量子化パラメータ（ＱＰ１）によって量子化される（Ｓ１）。前記量子化されたスライス２２は基礎階層を形成する。前記量子化されたスライス２２は逆量子化された後（Ｓ２）減算器（ｓｕｂｔｒａｃｔｏｒ：２４）に提供される。減算器２３はオリジナルスライスから前記逆量子化されたスライス２３を減算する（Ｓ３）。前記減算した結果は再び第２量子化パラメータ（ＱＰ２）によって量子化される（Ｓ４）。前記量子化された結果２５は第１ ＦＧＳ階層を形成する。

次に、前記量子化されたスライス２５は、逆量子化され（Ｓ５）、加算器２７に提供される。前記逆量子化されたスライス２６および、逆量子化されたスライス２３は加算器（ａｄｄｅｒ：２７）によって加算された後、減算器２８に提供される（Ｓ６）。減算器２８はオリジナルスライスから前記加算された結果を減算する（Ｓ７）。前記減算された結果は再び第３量子化パラメータ（ＱＰ３）によって量子化される（Ｓ８）。前記量子化された結果２９は第２ ＦＧＳ階層を形成する。このような過程によって図１のような複数の品質階層が形成されうる。ここで、離散階層を除いた第１ ＦＧＳ階層および第２ ＦＧＳ階層は、１つの階層内でも任意のビットを切り取ることができる構造（図５参照）になっている。これのために、各々のＦＧＳ階層には既存のＭＰＥＧ−４で用いられたビット平面（ｂｉｔ ｐｌａｎｅ）コーディング技法、ＳＶＣ草案で用いられる循環（ｃｙｃｌｉｃ） ＦＧＳコーディング技法などが適用されうる。

前述した通り、現在ＳＶＣ草案ではあるＦＧＳ階層の係数のコーディングパスを決定において下位に存在するすべての階層の対応する係数を参照する。ここで、「対応する係数」とは、複数の品質階層の間の空間的な位置が同じ係数を意味する。例えば、図６のように４ｘ４ブロックが離散階層、第１ ＦＧＳ階層および第２ ＦＧＳ階層で表示されるとする時、第２ ＦＧＳ階層の係数５３と対応する係数は第１ ＦＧＳ階層の係数５２および離散階層の係数５１である。

図７および図８は従来のＳＶＣ草案でのコーディングパス決定スキーム（ｓｃｈｅｍｅ） ６１と本発明によるコーディングパス決定スキーム６２を比較する図である。図７において、第２ ＦＧＳ階層の係数のコーディングパスは、それに対応する下位階層の係数のうち０ではない値が１つでもあれば精製パスに、そうではなければ重要パスに決定される。例えば、第２ ＦＧＳ階層の係数のうちｃ_ｎ、ｃ_ｎ＋１，ｃ_ｎ＋２は、その下位階層で少なくとも１つの０ではない係数が存在するため精製パスに決定され、ｃ_ｎ＋３は、その下位階層の係数がすべて０であるため重要パスに決定される。

これに比べて、図８では、第２ ＦＧＳ階層の係数のコーディングパスは、その真下の階層（隣接する下位階層）の係数のみを参照して決定される。したがって、前記隣接する下位階層、すなわち第１ ＦＧＳ階層の対応する係数が０ならば重要パスに、そうではなければ精製パスに決定される。これは離散階層の係数がいかなる値を有するかとは関係がなく決定される。したがって、第２ ＦＧＳ階層の係数のうちｃ_ｎ、ｃ_ｎ＋１は重要パスでコーディングされ、ｃ_ｎ＋２およびｃ_ｎ＋３は精製パスでコーディングされる。

図９は、従来のＪＳＶＭ（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ）−５によってＨ．２６４技術でのＦｏｏｔｂａｌｌシーケンスとして知られたＱＣＩＦ標準シーケンスをエンコーディングする時、第２ ＦＧＳ階層の係数が有するコーディングパスによって０が発生する確率を示すグラフの例である。このような従来のＳＶＣ草案による場合、第２ ＦＧＳ階層またはそれ以上の階層ではコーディングパス別に確率分布が明確に区分されず、これはエントロピコーディングの効率に影響を及ぼしうる。

図１０は、本発明によってＱＣＩＦ Ｆｏｏｔｂａｌｌシーケンスをエンコーディングする時、第２ ＦＧＳ階層の係数が有するコーディングパスによって０が発生する確率を示すグラフの例である。図１０を見ると、精製パスの場合０が発生する確率が概ね１００％近くで形成されて、重要パスの場合、０が発生する確率が概ね６０〜８０％の間で形成されることが分かる。このように、隣接する下位階層の係数のみを参照してコーディングパスを決める場合には、第２ ＦＧＳ階層またはそれ以上の階層においてもコーディングパス別に確率分布が明確に区分される可能性が大きくなる。

一方、従来のＳＶＣ草案では図７と共に精製パスおよび重要パスを決めた後には、図１２のように各コーディングパスに該当する係数同士を集め、エントロピコーディングを実行する。４ｘ４ ＦＧＳ階層ブロックに含まれた１６個の係数（ｃ_１〜ｃ_１６）のスキャン順序が決まって、そのうちｃ_３，ｃ_４，ｃ_５，ｃ_８，およびｃ_１１が精製パスでコーディングされる係数と仮定すれば、図１２に示す通り、総１６個の係数に対してエントロピコーディングを実行するにおいて総２回のループ（ｌｏｏｐ）が必要である。第１ループでは１６個の係数を探索しつつ、そのうち精製パスに該当する係数のみをエントロピコーディングし、第２ループでは再び１６個の係数を探索しつつ、そのうち重要パスに該当する係数だけをエントロピコーディングする。このように２回のループを経るのは、ビデオエンコーダまたはデコーダでの演算速度を低下させる一要因となりうる。

したがって、本発明ではコーディングパスによるエントロピコーディングにおいての演算量を減少させるために、従来のＳＶＣ草案のようにコーディングパス別に係数をグループ化せず、図１１に示す通り、スキャン順に１つのループによってエントロピコーディングを実行することを提案する。すなわち、いかなる係数が精製パスなのか重要パスなのかを問わずスキャン順に該当係数をエントロピコーディングするのである。

次の表１はＪＳＶＭ−５に含まれた演算過程を示す疑似コードの例であり、表２は本発明による演算過程を示す疑似コードの例である。

表２のコードの長さは表１のコードの長さより非常に減少した。また、表１ではｗｈｉｌｅループが２回用いられたのに比べて、表２ではｗｈｉｌｅループが１回用いられた。したがって、表２のようなアルゴリズムに従う場合、表１のアルゴリズムに比べて演算量が減少されることは明らかである。

図１３は、本発明の一実施形態によるビデオエンコーダ１００の構成を示すブロック図である。ビデオエンコーダ１００は、フレームエンコーディング部１１０とエントロピ符号化部１２０を含み構成されうる。

フレームエンコーディング部１１０は、入力されたビデオフレームから前記ビデオフレームに関する少なくとも１つの品質階層を生成する。

これのために、フレームエンコーディング部１１０は、予測部１１１、変換部１１２、量子化部１１３、および品質階層生成部１１４を含み構成されうる。

予測部１１１は、現在マクロブロックで所定の予測方法により予測されたイメージを差分することによって残差信号を求める。前記予測方法ではＳＶＣ草案に開示された予測技法、すなわちインター予測、方向的イントラ予測、イントラベース予測などが用いられる。インター予測は、現在フレームと同一な解像度および異なる時間的位置を有するフレームと現在フレームと間の相対的な動きを表現するためのモーションベクターを求めるモーション推定過程を含みうる。一方、現在フレームは、現在フレームと同一な時間的位置に存在し、現在フレームと解像度が相異なる下位階層（基礎階層）のフレームを参照して予測されることもできる。これをイントラベース（ｉｎｔａ ｂａｓｅ）予測という。もちろん、イントラベース予測では前記モーション推定過程は必要ではない。

変換部１１２は、前記求めた残差信号をＤＣＴ、ウェーブレット変換など空間的変換技法を用いて変換し、変換係数を生成する。このような空間的変換方法ではＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換（ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）などが用いられる。空間的変換の結果、変換係数が求められるが、空間的変換方法でＤＣＴを用いる場合はＤＣＴ係数が、ウェーブレット変換を用いる場合はウェーブレット係数が求められる。

量子化部１１３は、空間的変換部１１２で求めた変換係数を量子化して量子化係数を生成する。量子化（ｑｕａｎｔｉｚａｔｉｏｎ）とは、任意の実数と表現される前記変換係数を一定区間に分けて、離散値（ｄｉｓｃｒｅｔｅ ｖａｌｕｅ）で示す作業を意味する。このような量子化方法ではスカラー量子化、ベクター量子化などの方法がある。

品質階層生成部１１４は、図４で説明したような過程によって複数の品質階層を生成する。前記複数の品質階層は１つの離散階層と少なくとも１つ以上のＦＧＳ階層で構成されうる。前記離散階層は、独立的にエンコーディング／デコーディングが行われるが、前記ＦＧＳ階層は、他の階層を参照してエンコーディング／デコーディングが行われる。

エントロピ符号化部１２０は、本発明の実施形態による独立的な無損失符号化を実行する。前記無損失符号化部１２０の細部な構成は図１４に示す。図１４を参照すると、エントロピ符号化部１２０は、コーディングパス選択部１２１、精製パスコーディング部１２２、重要パスコーディング部１２３およびＭＵＸ１２４を含み構成されうる。

コーディングパス選択部１２１は、前記品質階層に属する現在ブロック（４ｘ４ブロック、８ｘ８ブロックまたは１６ｘ１６ブロック）の係数をコーディング下記ために前記品質階層の隣接する下位階層のブロックだけを参照する。本発明において、前記品質階層は第２ ＦＧＳ階層以上の階層であることが好ましい。コーディングパス選択部１２１は前記参照されるブロックの係数のうち前記現在ブロックの係数と空間的に対応する係数が０であるか、０ではない値であるかを判断する。コーディングパス選択部１２１は、前記対応する係数が０である場合には、前記現在ブロックの係数に対するコーディングパスとして重要パスを選択し、前記対応する係数が０ではない場合には、前記コーディングパスとして精製パスを選択する。

パスコーディング部１２５は、前記選択されたコーディングパスによって前記現在ブロックの係数を無損失符号化（エントロピ符号化）する。これのために、パスコーディング部１２５は前記対応する係数が０ではない時（１またはそれ以上の値）、前記現在ブロックの係数を精製パスによって無損失符号化する精製パスコーディング部１２２と、前記対応する係数が０である時、前記現在ブロックの係数を重要パスによって無損失符号化する重要パスコーディング部１２３を含む。実際精製パスまたは重要パスによってエントロピコーディングする具体的な方法は、既存のＳＶＣ草案で用いられる方式をそのまま用いることができる。特に、ＳＶＣ提案文書ＪＶＴ−Ｐ０５６では重要パスに対して、次のようなコーディング技法を提案している。エンコーディングされた結果であるコードワード（ｃｏｄｅｗｏｒｄ）はカット−オフ（ｃｕｔ−ｏｆｆ）パラメータ「ｍ」によって特性が付与される。コーディングされるシンボル「Ｃ」が前記ｍより小さいか同じならば、前記シンボルはＥｘｐ＿Ｇｏｌｏｍｂコードを用いてエンコーディングされる。前記シンボルＣが前記ｍより大きければ、次の式（１）によって長さ（ｌｅｎｇｔｈ）および添え字（ｓｕｆｆｉｘ）の二つの部分に分れてエンコーディングされる。

前記Ｐは、エンコーディングされたコードワードであって、長さおよび添え字（００，１０，または１０を有する）から成る。

一方、精製パスにおいては、確率的に０が発生する可能性がさらに高いため、ＪＶＴ−Ｐ０５６では、コーディングされる各精製係数（ｒｅｆｉｎｅｍｅｎｔ ｂｉｔ）のグループに含まれる０の個数に基づく１つのＶＬＣテーブルを用いて、互いに異なる長さを有するコードワードを割当てるＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）技法を提案する。前記精製係数グループは精製係数を所定個数単位で集めたものであり、例えば４つの精製係数を１つの精製係数グループで見なすこともある。

もちろん、精製パスに対してＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）技法を適用してコーディングすることも可能である。ＣＡＢＡＣは、所定のコーディング対象に対する確率モデルを選択して算術コーディングをする方式である。一般的にＣＡＢＡＣ過程は、２進演算、コンテクストモデルの選択、算術コーディング、および確率アップデート過程で成される。

パスコーディング部１２５は、品質階層の係数を所定のブロック単位（４ｘ４，８ｘ８，１６ｘ１６など）内で単一ループを用いてエントロピコーディングすることができる。すなわち、従来のＳＶＣ草案のように、精製パスに選択された係数と重要パスに選択された係数を別途に集めてコーディングするのではなく、前記係数のスキャン順に精製パスコーディングまたは重要パスコーディングを実行するのである。

ＭＵＸ１２４は、精製パスコーディング部１２２の出力と、重要パスコーディング部１２３の出力を多重化して１つのビットストリームで出力する。

図１５は、本発明の一実施形態によるビデオデコーダ２００の構成を示すブロック図である。ビデオデコーダ２００はエントロピ復号化部２２０とフレームデコーディング部２１０を含む。

エントロピ復号化部２２０は、入力されたビットストリームに含まれた少なくとも１つの品質階層に属する現在ブロックの係数に対して、本発明の実施形態によるエントロピ復号化を実行する。エントロピ復号化部２２０のより詳しい構成は後述するド１６に示す。

フレームデコーディング部２１０は、エントロピ復号化部２２０によって無損失復号化された現在ブロックの係数から現在ブロックのイメージを復元する。これのためにフレームデコーディング部２１０は品質階層組立部２１１、逆量子化部２１２、逆変換部２１３および逆予測部２１４を含む。

品質階層組立部２１１は、図１のような複数の品質階層を加算して１つのスライスデータまたはフレームデータを生成する。

逆量子化部２１２は、品質階層組立部２１１から提供されたデータを逆量子化する。

逆変換部２１３は、前記逆量子化結果に対して逆変換を実行する。このような逆変換は図１４の変換部１１２で実行される変換過程の逆に実行される。

逆予測部２１４は、逆変換部２１３から提供される復元された残差信号を予測信号と加算してビデオフレームを復元する。この時、前記予測信号はビデオエンコーダ端と同様にインター予測またはイントラベース予測によって求めることができる。

図１６は、エントロピ復号化部２２０のより詳しい構成を示すブロック図である。エントロピ復号化部２２０は、コーディングパス選択部２２１、精製パスデコーディング部２２２、重要パスデコーディング部２２３およびＭＵＸ２２４を含み構成されうる。

コーディングパス選択部２２１は、入力されたビットストリームに含まれた少なくとも１つの品質階層に属する現在ブロック（４ｘ４ブロック、８ｘ８ブロックまたは１６ｘ１６ブロック）の係数をコーディングするために、前記品質階層の隣接する下位階層のブロックだけを参照する。コーディングパス選択部２２１は、前記参照されるブロックの係数のうち前記現在ブロックの係数と空間的に対応する係数が０であるか、０ではない値であるかを判断する。コーディングパス選択部２２１は、前記対応する係数が０である場合には、前記現在ブロックの係数に対するコーディングパスとして重要パスを選択し、前記対応する係数が０ではない場合には、前記コーディングパスとして精製パスを選択する。

パスデコーディング部２２５は、前記選択されたコーディングパスによって前記現在ブロックの係数を無損失復号化する。これのために、パスデコーディング部２２５は対応する係数が０ではない時（１またはそれ以上の値）、前記現在ブロックの係数を精製パスによって無損失復号化する精製パスデコーディング部２２２と、前記対応する係数が０である時、前記現在ブロックの係数を重要パスによって無損失復号化する重要パスデコーディング部２２３を含む。パスコーディング部１２５と同様に、パスデコーディング部２２５も前記係数の無損失復号化を単一ループで実行することができる。

ＭＵＸ２２４は、精製パスデコーディング部２２２の出力と、重要パスデコーディング部２２３の出力を多重化して１つの品質階層に関するデータ（スライスまたはフレーム）を生成する。

今まで図１３から図１６の各構成要素はメモリ上の所定領域で実行されるタスク、クラス、サブルーチン、プロセス、オブジェクト、実行スレッド、プログラムのようなソフトウェア（ｓｏｆｔｗａｒｅ）や、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のようなハードウェア（ｈａｒｄｗａｒｅ）で具現されることができ、また前記ソフトウェアおよびハードウェアの組合せで形成されることもできる。前記構成要素は、コンピュータで判読可能な保存媒体に含まれている事もでき、複数のコンピュータにその一部が分散して分布されることもできる。

図１７および図１８は、ＣＩＦ ＢＵＳシーケンス（フレーム率：１５Ｈｚ）および４ＣＩＦ ＨＡＲＢＯＵＲシーケンス（フレーム率：６０Ｈｚ）に対して従来のＪＳＶＭ−４．２を適用した場合の輝度成分のＰＳＮＲと、前記ＪＳＶＭ−４．２に本発明を適用した場合の輝度成分のＰＳＮＲを比較したグラフである。図１３および図１４を参照すれば、ビット率が高くなるほど本発明を適用したことによってさらに明確になったことが確認できる。適用されるビデオシーケンスによって差があるが、本発明の適用によるＰＳＮＲの改善値は概ね０．２５ｄＢ〜０．５ｄＢ程度の範囲を有する。

以上添付された図面を参照し、本発明の実施形態について説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明を、その技術的思想や必須の特徴を変更しない範囲で、他の具体的な形態において実施されうるということを理解することができる。したがって、上記実施形態はすべての面で例示的なものであり、限定的でないものと理解しなければならない。

１つのフレームまたはスライスを構成する複数の品質階層の概念を示す図である。 離散階層の係数を参照して第１ ＦＧＳ階層のコーディングパスを選択した時、該当コーディングパスに対して０が発生する確率を示すグラフである。 離散階層および第１ ＦＧＳ階層の係数を参照して第２ ＦＧＳ階層のコーディングパスを選択した時、該当コーディングパスに対して０が発生する確率を示すグラフである。 １つのスライスを１つの基礎階層と２個のＦＧＳ階層で表現する過程を示す図である。 複数の品質階層をビットストリームに配置する例を示す図である。 複数の品質階層で空間的に対応される係数を示す図面である。 従来のＳＶＣ草案でのコーディングパス決定スキームを示す図である。 本発明によるコーディングパス決定スキームを示す図である。 ＪＳＶＭ−５によってＱＣＩＦ Ｆｏｏｔｂａｌｌとして知られたＱｕａｒｔｅｒ Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ（ＱＣＩＦ）標準テストシーケンスをエンコーディングする時、第２ ＦＧＳ階層の係数が有するコーディングパスによって０が発生する確率を示すグラフである。 本発明によりＱＣＩＦ Ｆｏｏｔｂａｌｌシーケンスをエンコーディングする時、第２ ＦＧＳ階層の係数が有するコーディングパスによって０が発生する確率を示すグラフである。 スキャン順であって１つのループを通し係数をエントロピコーディングする例を示す図である。 精製パスおよび重要パス別に該当係数を集めてエントロピコーディングを実行する例を示す図である。 本発明の一実施形態によるビデオエンコーダの構成を示すブロック図である。 図１３のビデオエンコーダに含まれた無損失符号化部の細部的な構成を示すブロック図である。 本発明の一実施形態によるビデオデコーダの構成を示すブロック図である。 図１５のビデオデコーダに含まれた無損失復号化部の細部的な構成を示すブロック図である。 ＣＩＦ ＢＵＳシーケンスに対して従来技術を適用した場合の輝度成分のＰＳＮＲと、本発明適用した場合の輝度成分のＰＳＮＲを比較したグラフである。 ４ＣＩＦ ＨＡＲＢＯＵＲシーケンスに対して従来技術を適用した場合の輝度成分のＰＳＮＲと、本発明適用した場合の輝度成分のＰＳＮＲを比較したグラフである。

符号の説明

１００ ビデオエンコーダ
１１０ フレームエンコーディング部
１１１ 予測部
１１２ 変換部
１１３ 量子化部
１１４ 品質階層生成部
１２０ エントロピ符号化部
１２１，２２１ コーディングパス選択部
１２２ 精製パスコーディング部
１２３ 重要パスコーディング部
１２４，２２４ ＭＵＸ
１２５ パスコーディング部
２００ ビデオデコーダ
２１０ フレームデコーディング部
２１１ 品質階層組立部
２１２ 逆量子化部
２１３ 逆変換部
２１４ 逆予測部
２２０ エントロピ復号化部
２２２ 精製パスデコーディング部
２２３ 重要パスデコーディング部
２２５ パスデコーディング部

Claims (24)

1. 入力ビデオフレームから少なくとも１つの品質階層を生成するフレームエンコーディング部と、
   現在品質階層の第１係数と対応し、前記少なくとも１つの品質階層に含まれた前記現在階層に隣接する下位階層の第２係数を参照してコーディングパスを選択するコーディングパス選択部、および
   前記選択されたコーディングパスによって前記第１係数を無損失符号化するパスコーディング部と、を含む、ビデオエンコーダ。
2. 前記少なくとも１つの品質階層は、
   １つの離散階層と少なくとも１つのＦＧＳ階層を含む、請求項１に記載のビデオエンコーダ。
3. 前記少なくとも１つの品質階層が２以上のＦＧＳ階層で構成される場合、前記現在品質階層は、
   前記２以上のＦＧＳ階層よりさらに高いＦＧＳ階層である、請求項２に記載のビデオエンコーダ。
4. 前記パスコーディング部は、
   前記第２係数が０ではない時、前記第１係数を精製パスによって無損失符号化する精製パスコーディング部、および
   前記第２係数が０である時、前記第１係数を重要パスによって無損失符号化する重要パスコーディング部と、を含む、請求項１に記載のビデオエンコーダ。
5. 前記パスコーディング部は、
   前記第１係数を前記現在階層のブロック単位内で単一ループを用いて無損失符号化する、請求項１に記載のビデオエンコーダ。
6. 前記ブロック単位は、
   ４ｘ４ブロック、８ｘ８ブロックまたは１６ｘ１６ブロック単位である、請求項５に記載のビデオエンコーダ。
7. 入力ビットストリームに含まれた少なくとも１つの品質階層のうち１つである現在階層に属する第１係数と対応する位置にあり、前記現在階層に隣接する下位階層に属する第２係数を参照してコーディングパスを選択するコーディングパス選択部と、前記選択されたコーディングパスによって前記第１係数を無損失復号化するパスデコーディング部、および
   前記無損失復号化された第１係数から現在階層のイメージを復元するフレームデコーディング部と、を含むビデオデコーダ。
8. 前記少なくとも１つの品質階層は、
   １つの離散階層と少なくとも１つのＦＧＳ階層を含む、請求項７に記載のビデオデコーダ。
9. 前記少なくとも１つの品質階層が２以上のＰＧＳ階層で構成される場合、前記現在階層は、
   前記２以上のＦＧＳ階層よりさらに高いＦＧＳ階層である、請求項８に記載のビデオデコーダ。
10. 前記パスデコーディング部は、
    前記第２係数が０ではない時、前記現在第１係数を精製パスによって無損失復号化する精製パスデコーディング部、および
    前記第２係数が０である時、前記第１係数を重要パスによって無損失復号化する重要パスデコーディング部と、を含む、請求項７に記載のビデオデコーダ。
11. 前記パスデコーディング部は、
    前記第１係数を前記現在階層のブロック単位内で単一ループを用いて無損失復号化する、請求項７に記載のビデオデコーダ。
12. 前記ブロック単位は、
    ４ｘ４ブロック、８ｘ８ブロックまたは１６ｘ１６ブロック単位である、請求項１１に記載のビデオデコーダ。
13. 入力ビデオフレームから少なくとも１つの品質階層を生成する段階と、
    現在階層の第１係数と対応する位置にあり、前記少なくとも１つの品質階層に含まれた前記現在階層に隣接する下位階層の第２係数を参照してコーディングパスを選択する段階、および
    前記選択されたコーディングパスによって前記第１係数を無損失符号化する段階と、を含む、ビデオエンコーディング方法。
14. 前記少なくとも１つの品質階層は、
    １つの離散階層と少なくとも１つのＦＧＳ階層を含む、請求項１３に記載のビデオエンコーディング方法。
15. 前記少なくとも１つの品質階層が２以上のＦＧＳ階層で構成される場合、前記現在階層は、
    前記２以上のＦＧＳ階層よりさらに高いＦＧＳ階層である、請求項１４に記載のビデオエンコーディング方法。
16. 前記第１係数を無損失符号化する段階は、
    前記第２係数が０ではない時、前記第１係数を精製パスにより無損失符号化する段階、および
    前記第２係数が０である時、前記第１係数を重要パスにより無損失符号化する段階と、を含む、請求項１３に記載のビデオエンコーディング方法。
17. 前記第１係数を無損失符号化する段階は、
    前記現在階層のブロック単位内で単一ループを用いて実行される、請求項１３に記載のビデオエンコーディング方法。
18. 前記ブロック単位は、
    ４ｘ４ブロック、８ｘ８ブロックまたは１６ｘ１６ブロック単位である、請求項１７に記載のビデオエンコーディング方法。
19. 入力ビットストリームに含まれた少なくとも１つの品質階層のうち１つである現在階層に属する第１係数と対応する位置にあり、前記階層に隣接する下位階層に属する第２係数を参照してコーディングパスを選択する段階と、
    前記選択されたコーディングパスによって前記第１係数を無損失復号化する段階、および
    前記無損失復号化された第１係数から前記現在階層のイメージを復元する段階と、を含む、ビデオデコーディング方法。
20. 前記少なくとも１つの品質階層は、
    １つの離散階層と少なくとも１つのＦＧＳ階層と、を含む、請求項１９に記載のビデオデコーディング方法。
21. 前記少なくとも１つの品質階層が２以上のＦＧＳ階層で構成される場合、前記現在階層は、
    前記２以上のＦＧＳ階層よりさらに高いＦＧＳ階層である、請求項２０に記載のビデオデコーディング方法。
22. 前記第１係数を無損失復号化する段階は、
    前記第２係数が０ではない時、前記第１係数を精製パスにより無損失復号化する段階、および
    前記第２係数が０である時、前記第１係数を重要パスにより無損失復号化する段階と、を含む、請求項１９に記載のビデオデコーディング方法。
23. 前記第１係数を無損失復号化する段階は、
    前記現在階層のブロック単位内で単一ループを用いて実行される、請求項１９に記載のビデオデコーディング方法。
24. 前記ブロック単位は、
    ４ｘ４ブロック、８ｘ８ブロックまたは１６ｘ１６ブロック単位である、請求項２３に記載のビデオデコーディング方法。

Images