本発明の多様な実施形態によるインターレイヤビデオ復号化方法において、現在ブロックの、左側に位置する空間的周辺ブロック候補、上側に位置する空間的周辺ブロック候補及びコロケーテッド(co-located)位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索する段階と、前記検索された周辺ブロック候補のインターレイヤ方向の動きベクトルを、前記現在ブロックのディスパリティベクトルと予測する段階と、前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補が検索されない場合、前記空間的周辺ブロック候補のうち、ディスパリティベクトル情報を有する周辺ブロック候補を検索する段階と、前記検索された周辺ブロック候補のディスパリティベクトル情報を利用して、前記現在ブロックのディスパリティベクトルを予測する段階と、を含んでもよい。
多様な実施形態による前記インターレイヤ方向の動きベクトルを有するブロック候補を検索する段階は、前記現在ブロックの左側境界に隣接したブロックのうち最も下端に位置する空間的周辺ブロック候補、前記現在ブロックの上側境界に隣接したブロックのうち最も右側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
多様な実施形態による前記ディスパリティベクトル情報を有する周辺ブロック候補を検索する段階は、前記現在ブロックの左側境界に隣接したブロックのうち最も下端に位置する空間的周辺ブロック候補、及び前記現在ブロックの上側境界に隣接したブロックのうち最も右側に位置する空間的周辺ブロック候補がインターレイヤ動き補償を行ったか否かということを判断する段階を含んでもよい。
多様な実施形態による前記インターレイヤ方向の動きベクトルを有するブロック候補を検索する段階は、前記現在ブロックの対角方向に位置した時間的及び空間的な周辺ブロック候補に対する検索を省略(omit)することができる。
多様な実施形態による前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索する段階は、前記現在ブロックの左側に位置する空間的周辺ブロック候補、前記現在ブロックの上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補に優先順位を置き、前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
多様な実施形態による前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索する段階は、検索される時間方向の参照ピクチャが2以上である場合、コロケーテッドピクチャに含まれた時間的周辺ブロック候補に優先順位を置き、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
多様な実施形態による前記インターレイヤビデオ復号化方法は、前記現在ブロックのディスパリティベクトルが予測されない場合、基本(default)ディスパリティベクトルとインターレイヤ深さ映像とを利用して、前記現在ブロックのディスパリティベクトルを決定する段階を含んでもよい。
多様な実施形態による前記インターレイヤビデオ復号化方法は、前記現在ブロックのディスパリティベクトルが(0,0)と予測される場合、インターレイヤ深さマップを利用して、前記現在ブロックのディスパリティベクトルを(0,0)ではない値に決定する段階を含んでもよい。
多様な実施形態による前記インターレイヤビデオ復号化方法は、前記現在ブロックのディスパリティベクトルが(0,0)と予測される場合、前記予測されたディスパリティベクトルを利用するモードを使用しないように設定する段階を含んでもよい。
本発明は、多様な実施形態によるインターレイヤビデオ符号化方法において、現在ブロックの、左側に位置する空間的周辺ブロック候補、上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索する段階と、前記検索された周辺ブロック候補のインターレイヤ方向の動きベクトルを、前記現在ブロックのディスパリティベクトルと予測する段階と、前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補が検索されない場合、前記空間的周辺ブロック候補のうち、ディスパリティベクトル情報を有する周辺ブロック候補を検索する段階と、前記検索された周辺ブロック候補のディスパリティベクトル情報を利用して、前記現在ブロックのディスパリティベクトルを予測する段階と、を含んでもよい。
多様な実施形態による前記インターレイヤ方向の動きベクトルを有するブロック候補を検索する段階は、前記現在ブロックの左側境界に隣接したブロックのうち最も下端に位置する空間的周辺ブロック候補、前記現在ブロックの上側境界に隣接したブロックのうち最も右側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
多様な実施形態による前記ディスパリティベクトル情報を有する周辺ブロック候補を検索する段階は、前記現在ブロックの左側境界に隣接したブロックのうち最も下端に位置する空間的周辺ブロック候補、及び前記現在ブロックの上側境界に隣接したブロックのうち最も右側に位置する空間的周辺ブロック候補がインターレイヤ動き補償を行ったか否かということを判断する段階を含んでもよい。
多様な実施形態による前記インターレイヤ方向の動きベクトルを有するブロック候補を検索する段階は、前記現在ブロックの対角方向に位置した時間的及び空間的な周辺ブロック候補に対する検索を省略することができる。
多様な実施形態による前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索する段階は、前記現在ブロックの左側及び上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補に優先順位を置き、前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
多様な実施形態による前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索する段階は、検索される時間方向の参照ピクチャが2以上である場合、コロケーテッドピクチャに含まれた時間的周辺ブロック候補に優先順位を置き、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
多様な実施形態による前記インターレイヤビデオ符号化方法は、前記現在ブロックのディスパリティベクトルが予測されない場合、基本ディスパリティベクトルとインターレイヤ深さ映像とを利用して、前記現在ブロックのディスパリティベクトルを決定する段階を含んでもよい。
多様な実施形態による前記インターレイヤビデオ符号化方法は、前記現在ブロックのディスパリティベクトルが(0,0)と予測される場合、インターレイヤ深さマップを利用して、前記現在ブロックのディスパリティベクトルを(0,0)ではない値に決定する段階を含んでもよい。
多様な実施形態による前記インターレイヤビデオ符号化方法は、前記現在ブロックのディスパリティベクトルが(0,0)と予測される場合、前記予測されたディスパリティベクトルを利用するモードを使用しないように設定する段階を含んでもよい。
本発明は、多様な実施形態によるインターレイヤビデオ復号化装置において、ビットストリームから獲得された符号化情報に基づいて第1レイヤ映像を復元する第1レイヤ復号化部と、第2レイヤ現在ブロックの、左側に位置する空間的周辺ブロック候補、上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索し、前記検索された周辺ブロック候補のインターレイヤ方向の動きベクトルを、前記第2レイヤ現在ブロックのディスパリティベクトルと予測するディスパリティベクトル決定部と、を含むインターレイヤビデオ復号化装置において、前記ディスパリティベクトル決定部は、前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補が検索されない場合、前記空間的周辺ブロック候補のうち、ディスパリティベクトル情報を有する周辺ブロック候補を検索し、前記検索された周辺ブロック候補のディスパリティベクトル情報を利用して、前記第2レイヤ現在ブロックのディスパリティベクトルを予測することができる。
本発明は、多様な実施形態によるインターレイヤビデオ符号化装置において、第1レイヤ映像を符号化して生成された符号化情報を含む第1レイヤビットストリームを生成する第1レイヤ符号化部と、第2レイヤ現在ブロックの、左側に位置する空間的周辺ブロック候補、上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索し、前記検索された周辺ブロック候補のインターレイヤ方向の動きベクトルを、前記第2レイヤ現在ブロックのディスパリティベクトルと予測するディスパリティベクトル決定部と、を含むインターレイヤビデオ符号化装置において、前記ディスパリティベクトル決定部は、前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補が検索されない場合、前記空間的周辺ブロック候補のうち、ディスパリティベクトル情報を有する周辺ブロック候補を検索し、前記検索された周辺ブロック候補のディスパリティベクトル情報を利用して、前記第2レイヤ現在ブロックのディスパリティベクトルを予測することができる。
本発明は、多様な実施形態による方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体を含んでもよい。
以下、図1Aないし図7Dを参照し、多様な実施形態によって、参照レイヤ深さマップを利用してディスパリティベクトルを決定するインターレイヤビデオ符号化技法、インターレイヤビデオ復号化技法を提案する。また、図8ないし図20を参照し、先立って提案したインターレイヤビデオ符号化技法及び復号化技法に適用される多様な実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法を開示する。また、図21ないし図27を参照し、先立って提案したビデオ符号化方法、ビデオ復号化方法が適用される多様な実施形態を開示する。
以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示す。
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。
以下、「現在ブロック(current block)」は、符号化または復号化を行う映像のブロックを意味する。
以下、「周辺ブロック(neighboring block around the current block)」は、現在ブロックに隣接する、符号化または復号化される少なくとも1つのブロックを示す。例えば、周辺ブロックは、現在ブロックの上端、現在ブロックの右側上端、現在ブロックの左側、または現在ブロックの左側上端に位置することができる。また、空間的に隣接するブロックだけではなく、時間的に隣接するブロックを含んでもよい。
まず、図1Aないし図7Dを参照し、多様な実施形態による、インターレイヤビデオ復号化装置及びインターレイヤビデオ符号化装置、並びにその方法のためのブロック基盤ディスパリティベクトル予測方法を開示する。
図1Aは、多様な実施形態によるインターレイヤビデオ符号化装置10のブロック図である。図1Bは、多様な実施形態によるインターレイヤビデオ符号化方法のフローチャートである。
多様な実施形態によるインターレイヤビデオ符号化装置10は、第1レイヤ符号化部12及び第2レイヤ符号化部16を含む。第2レイヤ符号化部16は、ディスパリティベクトル決定部14を含んでもよい。ディスパリティベクトル決定部14は、第2レイヤ符号化部16の外部に位置することもできる。
多様な実施形態によるインターレイヤビデオ符号化装置10は、スケーラブルビデオコーディング(scalable video coding)方式によって、多数の映像シーケンスをレイヤ別に分類してそれぞれ符号化し、レイヤ別に符号化されたデータを含む別個のストリームを出力することができる。インターレイヤビデオ符号化装置10は、第1レイヤ映像シーケンスと第2レイヤ映像シーケンスとを、互いに異なるレイヤに符号化することができる。
第1レイヤ符号化部12が第1レイヤ映像を符号化し、第1レイヤ映像の符号化データを含む第1レイヤストリームを出力することができる。
第2レイヤ符号化部16が第2レイヤ映像を符号化し、第2レイヤ映像の符号化データを含む第2レイヤストリームを出力することができる。
例えば、空間的スケーラビリティ(spatial scalability)に基づいたスケーラブルビデオコーディング方式によれば、低解像度映像が第1レイヤ映像として符号化され、高解像度映像が第2レイヤ映像として符号化される。第1レイヤ映像の符号化結果が第1レイヤストリームとして出力され、第2レイヤ映像の符号化結果が第2レイヤストリームとして出力される。
他の例として、多視点ビデオがスケーラブルビデオコーディング方式によって符号化される。その場合、中央視点映像は、第1レイヤ映像として符号化され、左視点映像及び右視点映像は、第1レイヤ映像を参照する第2レイヤ映像として符号化される。または、インターレイヤビデオ符号化装置10が、第1レイヤ、第2レイヤ、第3レイヤなど3以上のレイヤを許容する場合、中央視点映像は、第1レイヤ映像として符号化され、左視点映像は、第2レイヤ映像として符号化され、右視点映像は、第3レイヤ映像として符号化される。必ずしもかような構成に限定されるものではなく、中央視点映像、左視点映像、右視点映像が符号化されるレイヤ、及び参照されるレイヤが変更されるということは言うまでもない。
他の例として、時間的スケーラビリティに基づいた時間階層的予測(temporal hierarchical prediction)によって、スケーラブルビデオコーディング方式が遂行される。基本フレームレートの映像を符号化して生成された符号化情報を含む第1レイヤストリームが出力される。フレームレート別に、時間的階層(temporal level)が分類され、各時間的階層が各レイヤに符号化される。基本フレームレートの映像を参照し、高速フレームレートの映像をさらに符号化し、高速フレームレートの符号化情報を含む第2レイヤストリームが出力される。
また、第1レイヤ、及び多数の第2レイヤに対するスケーラブルビデオコーディングが行われる。第2レイヤが3以上である場合、第1レイヤ映像と、最初の第2レイヤ映像、2番目の第2レイヤ映像、…、K番目の第2レイヤ映像が符号化されもする。それにより、第1レイヤ映像の符号化結果が第1レイヤストリームとして出力され、最初、2番目、…、K番目の第2レイヤ映像の符号化結果が、それぞれ最初、2番目、…、K番目の第2レイヤストリームとして出力される。
多様な実施形態によるインターレイヤビデオ符号化装置10は、単一レイヤの映像を参照して現在映像を予測するインター予測(inter prediction)を行うことができる。インター予測を介して、現在映像と参照映像との動き情報を示すモーションベクトル(motion vector)、及び現在映像と参照映像とのレジデュアル成分(residual)が生成される。
また、インターレイヤビデオ符号化装置10は、第1レイヤ映像を参照して第2レイヤ映像を予測するインターレイヤ予測(inter-layer prediction)を行うことができる。
また、多様な実施形態によるインターレイヤビデオ符号化装置10が、第1レイヤ、第2レイヤ、第3レイヤなど3以上のレイヤを許容する場合には、マルチレイヤ予測構造によって、1つの第1レイヤ映像と第3レイヤ映像とのインターレイヤ予測、第2レイヤ映像と第3レイヤ映像とのインターレイヤ予測を行うこともできる。
インターレイヤ予測を介して、現在映像と異なるレイヤの参照映像間の位置差成分、及び現在映像と異なるレイヤの参照映像間のレジデュアル成分が生成される。
インターレイヤ予測構造は、追って図3を参照して詳細に説明する。
多様な実施形態によるインターレイヤビデオ符号化装置10は、各レイヤごとに、ビデオのそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。ブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造の符号化単位を含む最大符号化単位は、コーディングツリーユニット(coding tree unit)、コーディングブロックツリー(coding block tree)、ブロックツリー、ルートブロックツリー(root block tree)、コーディングツリー、コーディングルートまたはツリートランク(tree trunk)などで多様に命名される。ツリー構造による符号化単位に基づいたビデオ符号化/復号化方式は、図8ないし図20を参照して後述する。
インター予測及びインターレイヤ予測は、符号化単位、予測単位または変換単位のデータ単位を基に行われもする。
多様な実施形態による第1レイヤ符号化部12は、第1レイヤ映像に対して、インター予測またはイントラ予測を含むソースコーディング動作を遂行し、シンボルデータを生成することができる。シンボルデータは、各符号化パラメータのサンプル値、及びレジデュアルのサンプル値を示す。
例えば、符号化部12は、第1レイヤ映像のデータ単位のサンプルに対して、インター予測またはイントラ予測、変換、量子化を行ってシンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、第1レイヤストリームを生成することができる。
第2レイヤ符号化部16は、ツリー構造の符号化単位に基づいて、第2レイヤ映像を符号化することができる。第2レイヤ符号化部16は、第2レイヤ映像の符号化単位のサンプルに対して、インター/イントラ予測、変換、量子化を行ってシンボルデータを生成し、シンボルデータに対してエントロピー符号化を行い、第2レイヤストリームを生成することができる。
多様な実施形態による第2レイヤ符号化部16は、第1レイヤ映像の予測情報を利用して、第2レイヤ映像を予測するインターレイヤ予測を行うことができる。第2レイヤ符号化部16は、インターレイヤ予測構造を介して、第2レイヤ映像シーケンスのうち第2レイヤ原本映像を符号化するために、第1レイヤ復元映像の予測情報を利用して、第2レイヤ現在映像の予測情報を決定し、決定された予測情報に基づいて、第2レイヤ予測映像を生成し、第2レイヤ原本映像と第2レイヤ予測映像との予測誤差を符号化することができる。
一方、第2レイヤ符号化部16は、第2レイヤ映像に対して、符号化単位または予測単位のようなブロック別にインターレイヤ予測を行い、第2レイヤ映像のブロックが参照する第1レイヤ映像のブロックを決定することができる。例えば、第2レイヤ映像において、現在ブロックの位置に相応して位置する第1レイヤ映像の復元ブロックが決定される。第2レイヤ符号化部16は、第2レイヤブロックに相応する第1レイヤ復元ブロックを利用して、第2レイヤ予測ブロックを決定することができる。
第2レイヤ符号化部16は、インターレイヤ予測構造によって、第1レイヤ復元ブロックを利用して決定された第2レイヤ予測ブロックを、第2レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することができる。第2レイヤ符号化部16は、第1レイヤ復元映像を利用して、第2レイヤ予測ブロックのサンプル値と、第2レイヤ原本ブロックのサンプル値との誤差、すなわち、インターレイヤ予測によるレジデュアル成分を変換及び量子化し、エントロピー符号化することができる。
一方、前述のインターレイヤビデオ符号化装置10が多視点ビデオを符号化する場合、符号化される第1レイヤ映像は、第1視点ビデオであり、第2レイヤ映像は、第2視点ビデオでもある。かような多視点映像は、同一時間に取得されるために、各視点の映像別に類似度が非常に高い。
しかし、多視点映像は、視点別に撮影角度、照明または撮像ツール(カメラ、レンズなど)の特性が異なることにより、視差(disparity)が示される。従って、かような視差をディスパリティベクトルで示し、ディスパリティベクトルを利用して、他視点の映像において、現在符号化するブロックと最も類似した領域を求めて符号化するディスパリティ補償予測(disparity compensated prediction)を行うことにより、符号化効率を高めることができる。
インターレイヤビデオ符号化装置10は、インターレイヤ予測のためのディスパリティベクトルを決定し、区別された情報として、ビットストリームを介して復号化装置に伝送することができる。
または、インターレイヤビデオ符号化装置10は、予測単位別に伝送されるデータ量を低減させるために、他の符号化情報からディスパリティベクトルが予測(または、誘導)される。例えば、現在復元されるブロックの周辺ブロックから、ディスパリティベクトルが予測される。また、周辺ブロックからディスパリティベクトルを予測することができなければ、ディスパリティベクトルを、基本ディスパリティベクトルとして設定することができる。
ところで、インターレイヤビデオ符号化装置10が、ディスパリティベクトル予測のために利用する周辺ブロックを決定するために、周辺ブロック候補を検索するとき、現在ブロックと周辺ブロックとの距離を考慮しない場合、距離が遠い周辺ブロックが、検索優先順位を有することができる。その場合、予測正確度が高い近い周辺ブロック候補の代わりに、距離が遠くて予測正確度が低い周辺ブロック候補が、ディスパリティベクトル予測のために利用される周辺ブロック候補に決定されるという問題がある。
従って、多様な実施形態によるインターレイヤビデオ符号化装置10は、現在ブロックと近い周辺ブロック候補を利用して、ディスパリティベクトル予測を行うことにより、さらに正確なディスパリティベクトル予測方法を提供することができる。また、インターレイヤビデオ符号化装置10は、コーディング効率を高めることができ、さらに、処理過程を簡便化し、符号化装置の複雑度を低減させることができる。
以下、多様な実施形態によるインターレイヤビデオ符号化装置10において、ディスパリティベクトルを決定する方法は、図4ないし図7Dに係わる説明において、具体的に説明する。
インターレイヤビデオ符号化装置10は、第1レイヤ復元映像を利用して、第2レイヤ予測ブロックのサンプル値と、第2レイヤ原本ブロックのサンプル値との誤差、すなわち、インターレイヤ予測によるレジデュアル成分を変換及び量子化してエントロピー符号化することができる。また、予測情報間の誤差も、エントロピー符号化される。
前述のように、インターレイヤビデオ符号化装置10は、インターレイヤ予測構造を介して、第1レイヤ復元映像を参照し、現在レイヤ映像シーケンスを符号化することもできる。ただし、多様な実施形態によるインターレイヤビデオ符号化装置10が、異なるレイヤサンプルを参照せずにも、単一レイヤ予測構造によって、第2レイヤ映像シーケンスを符号化することもできる。従って、インターレイヤビデオ符号化装置10が第2レイヤ映像シーケンスを符号化するために、インターレイヤ予測構造のインター予測のみを遂行すると制限的に解釈しないように留意しなければならない。
以下、インターレイヤ予測のために、ディスパリティベクトルを予測するインターレイヤビデオ符号化装置10の詳細な動作について、図1Bを参照して詳細に説明する。以下の説明において、第1レイヤ映像は、参照視点映像を意味し、第2レイヤ映像は、現在符号化される視点の映像を意味する。
図1Bは、多様な実施形態によるインターレイヤビデオ符号化方法のフローチャートである。
段階11において、多様な実施形態によるディスパリティベクトル決定部14は、現在ブロックの、左側に位置する空間的周辺ブロック候補、上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。ここで、周辺ブロック候補のインターレイヤ方向の動きベクトルは、周辺ブロック候補が有するディスパリティベクトルを意味する。
例えば、ディスパリティベクトル決定部14は、複数の時間的周辺ブロック候補のうち、コロケーテッド位置の周辺ブロック候補がインターレイヤ方向の動きベクトルを有するか否かということを判断することができる。
また、ディスパリティベクトル決定部14は、複数の空間的周辺ブロック候補のうち、現在ブロックの左側境界に隣接したブロックのうち最も下端に位置する空間的周辺ブロック候補、及び前記現在ブロックの上側境界に隣接したブロックのうち最も右側に位置する空間的周辺ブロック候補がインターレイヤ方向の動きベクトルを有するか否かということを判断することができる。
そして、ディスパリティベクトル決定部14は、複数の時間的及び空間的な周辺ブロック候補のうち、現在ブロックの対角方向に位置した時間的及び空間的な周辺ブロック候補に対する検索を省略することができる。
ただし、ディスパリティベクトル決定部14は、前述の周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を探し出すことができない場合、現在ブロックの左側境界に隣接したブロックのうち最も下端に位置するブロックの下端、現在ブロックの左側境界に隣接したブロックのうち最も上端に位置するブロックの上端、現在ブロックの上側境界に隣接したブロックのうち最も右側に位置するブロックの右側に位置する空間的周辺ブロック候補、及び現在ブロックの時間的コロケーテッドブロックの右側境界に隣接したブロックのうち最も下端に位置するブロックの下端に位置する時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
すなわち、ディスパリティベクトル決定部14は、前記現在ブロックの左側に位置する空間的周辺ブロック候補、前記現在ブロックの上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補に優先順位を置き、前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。また、ディスパリティベクトル決定部14は、時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索した後、空間的周辺ブロック候補を検索することができるが、必ずしもかような順序に限定されるものではない。
一方、ディスパリティベクトル決定部14は、時間的周辺ブロック候補を検索するために参照される時間方向の参照ピクチャが2以上である場合、コロケーテッドピクチャに含まれた時間的周辺ブロック候補に優先順位を置き、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
例えば、コロケーテッドピクチャを検索した後、ラップ(RAP)ピクチャを検索することもでき、または、現在ピクチャと最も時間上距離が近いピクチャを先に探索することもできる。また、2つのピクチャにおいて、コロケーテッド位置の周辺ブロック候補をまず検索し、それ以外の周辺ブロック候補を探索することもできる。
段階13において、多様な実施形態によるディスパリティベクトル決定部14は、検索された周辺ブロック候補のインターレイヤ方向の動きベクトルを、前記現在ブロックのディスパリティベクトルと予測することができる。
一方、段階15において、多様な実施形態によるディスパリティベクトル決定部14は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が検索されない場合、周辺ブロック候補のうち、ディスパリティベクトル情報を有する周辺ブロック候補を検索することができる。例えば、周辺ブロック候補が、インターレイヤ間動き予測補償を行った場合には、ディスパリティベクトル情報を有するので、ディスパリティベクトル決定部14は、周辺ブロック候補のうち、インターレイヤ間動き補償を行った周辺ブロック候補を検索することができる。
ここで、ディスパリティベクトル決定部14が、ディスパリティベクトル情報を有する空間的周辺ブロック候補を検索する動作は、段階11において説明したインターレイヤ方向の動きベクトルを有する空間的周辺ブロック候補を検索する動作と類似しているので、詳細な説明は省略する。
段階17において、多様な実施形態によるディスパリティベクトル決定部14は、検索された周辺ブロック候補のディスパリティベクトル情報を利用して、現在ブロックのディスパリティベクトルを予測することができる。
一方、ディスパリティベクトル決定部14は、周辺ブロック候補のうち、インターレイヤ間動き補償を行った周辺ブロック候補を検索することができない場合には、周辺ブロック候補からディスパリティベクトルを予測することができない場合であると判断し、ディスパリティベクトルを、基本ディスパリティベクトルとして決定することができる。
ところで、周辺ブロックにおいて、ディスパリティベクトルを予測することができなかったとき、基本ディスパリティベクトルを(0,0)と設定する場合、ほとんどの多視点映像では、ディスパリティが発生するために、予測されたディスパリティベクトルが正確ではない可能性が高い。従って、ディスパリティベクトル決定部14は、基本ディスパリティベクトルを0ではない値に設定し、実際のディスパリティベクトルと類似したディスパリティベクトルを予測することができる。
また、ディスパリティベクトル決定部14は、周辺ブロックにおいて、ディスパリティベクトルを予測することができない場合にも、基本ディスパリティベクトルを0ではない値に設定し、ディスパリティベクトルを利用するモード(例えば、レジデュアル予測モード)を使用することができる。
ここで、レジデュアル予測モードは、第2レイヤ現在ブロックの動きベクトル値と、それに対応する第1レイヤ参照ブロックの動きベクトル値との差分値をシグナリングするモードを意味する。ところで、ディスパリティベクトルが周辺ブロックで予測されない場合には、その予測正確度が低くなり、レジデュアル予測モードを使用しない。しかし、多様な実施形態によるインターレイヤビデオ復号化装置20は、ディスパリティベクトルを0ではない値に設定し、ディスパリティベクトルを利用するモードを使用することができる。
また、ディスパリティベクトル決定部14は、周辺ブロックで予測されたディスパリティベクトルが(0,0)である場合にも、ディスパリティベクトルを0ではない値に再設定することができる。
または、ディスパリティベクトル決定部14は、周辺ブロックで予測されたディスパリティベクトルが(0,0)である場合には、ディスパリティに対して、ベクトルの正確度が低いと判断されるので、ディスパリティベクトルを利用するモードを使用しないように設定することもできる。
前述のところにより、インターレイヤビデオ符号化装置10は、予測されたディスパリティベクトルの正確度を高めることにより、符号化効率を高めることができる。
多様な実施形態によるインターレイヤビデオ符号化装置10は、第1レイヤ符号化部12、ディスパリティベクトル決定部14及び第2レイヤ符号化部16を総括的に制御する中央プロセッサ(図示せず)を含んでもよい。または、第1レイヤ符号化部12、ディスパリティベクトル決定部14及び第2レイヤ符号化部16が、それぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することにより、インターレイヤビデオ符号化装置10が全体的に作動される。または、インターレイヤビデオ符号化装置10の外部プロセッサ(図示せず)の制御によって、第1レイヤ符号化部12、ディスパリティベクトル決定部14及び第2レイヤ符号化部16が制御されもする。
インターレイヤビデオ符号化装置10は、第1レイヤ符号化部12、ディスパリティベクトル決定部14及び第2レイヤ符号化部16の入出力データが保存される1以上のデータ保存部(図示せず)を含んでもよい。インターレイヤビデオ符号化装置10は、データ保存部(図示せず)のデータ入出力を管轄するメモリ制御部(図示せず)を含んでもよい。
インターレイヤビデオ符号化装置10は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。インターレイヤビデオ符号化装置10の内部ビデオエンコーディングプロセッサは、別個のプロセッサとして、ビデオ符号化動作を具現することができる。また、インターレイヤビデオ符号化装置10、または中央演算装置、グラフィック演算装置がビデオエンコーディングプロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
図2Aは、多様な実施形態によるインターレイヤビデオ復号化装置のブロック図である。
多様な実施形態によるインターレイヤビデオ復号化装置20は、第1レイヤ復号化部22、ディスパリティベクトル決定部24及び第2レイヤ復号化部26を含む。ディスパリティベクトル決定部24は、第2レイヤ復号化部26に含まれもする。他の実施形態によるディスパリティベクトル決定部24は、第2レイヤ符号化部26の外部に位置することもできる。
多様な実施形態によるインターレイヤビデオ復号化装置20は、スケーラブル符号化方式によって、レイヤ別にビットストリームを受信することができる。インターレイヤビデオ復号化装置20が受信するビットストリームのレイヤの個数が限定されるものではない。しかし、説明の便宜のために、以下、インターレイヤビデオ復号化装置20の第1レイヤ復号化部22が第1レイヤストリームを受信して復号化し、第2レイヤ復号化部26が第2レイヤストリームを受信して復号化する実施形態について詳細に説明する。
例えば、空間的スケーラビリティに基づいたインターレイヤビデオ復号化装置20は、互いに異なる解像度の映像シーケンスが、互いに異なるレイヤに符号化されたストリームを受信することができる。第1レイヤストリームを復号化して低解像度映像シーケンスが復元され、第2レイヤストリームを復号化して高解像度映像シーケンスが復元される。
他の例として、多視点ビデオが、スケーラブルビデオコーディング方式によって復号化される。ステレオスコピックビデオストリームが多数レイヤに受信された場合、第1レイヤストリームを復号化して左視点映像が復元される。第1レイヤストリームに、第2レイヤストリームをさらに復号化して右視点映像が復元される。
または、多視点ビデオストリームが多数レイヤに受信された場合、第1レイヤストリームを復号化し、中央視点映像が復元される。第1レイヤストリームに、第2レイヤストリームをさらに復号化し、左視点映像が復元される。第1レイヤストリームに、第3レイヤストリームをさらに復号化し、右視点映像が復元される。
他の例として、時間的スケーラビリティに基づいたスケーラブルビデオコーディング方式が遂行される。第1レイヤストリームを復号化し、基本フレームレートの映像が復元される。第1レイヤストリームに、第2レイヤストリームをさらに復号化し、高速フレームレートの映像が復元される。
また、第2レイヤが3以上である場合、第1レイヤストリームから第1レイヤ映像が復元され、第1レイヤ復元映像を参照し、第2レイヤストリームをさらに復号化すれば、第2レイヤ映像がさらに復元される。第2レイヤ復元映像を参照し、K番目レイヤストリームをさらに復号化すれば、K番目レイヤ映像がさらに復元されもする。
インターレイヤビデオ復号化装置20は、第1レイヤストリーム及び第2レイヤストリームから、第1レイヤ映像及び第2レイヤ映像の符号化されたデータを獲得し、さらに、インター予測によって生成されたモーションベクトル、及びインターレイヤ予測によって生成された予測情報をさらに獲得することができる。
例えば、インターレイヤビデオ復号化装置20は、各レイヤ別にインター予測されたデータを復号化し、多数レイヤ間でインターレイヤ予測されたデータを復号化することができる。符号化単位または予測単位を基に、動き補償(motion compensation)、及びインターレイヤ復号化を介した復元が行われる。
各レイヤストリームについては、同一レイヤのインター予測を介して予測された復元映像を参照し、現在映像のための動き補償を行うことにより、映像を復元することができる。動き補償は、現在映像のモーションベクトルを利用して決定された参照映像と、現在映像のレジデュアル成分とを合成し、現在映像の復元映像を再構成する動作を意味する。
また、インターレイヤビデオ復号化装置20は、インターレイヤ予測を介して予測された第2レイヤ映像を復号化するために、第1レイヤ映像の予測情報を参照し、インターレイヤ復号化を行うこともできる。インターレイヤ復号化は、現在映像の予測情報を決定するために、他レイヤの参照ブロックの予測情報を利用して、現在映像の予測情報を再構成する動作を意味する。
多様な実施形態によるインターレイヤビデオ復号化装置20は、第2レイヤ映像を参照して予測された第3レイヤ映像を復元するためのインターレイヤ復号化を行うこともできる。インターレイヤ予測構造は、追って図3を参照して詳細に説明する。
ただし、多様な実施形態による第2レイヤ復号化部26が、第1レイヤ映像シーケンスを参照せずにも、第2レイヤストリームを復号化することもできる。従って、第2レイヤ復号化部26が第2レイヤ映像シーケンスを復号化するために、インターレイヤ予測を行うと制限的に解釈しないように留意しなければならない。
インターレイヤビデオ復号化装置20は、ビデオのそれぞれの映像のブロック別に復号化する。ブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。
第1レイヤ復号化部22は、パージングされた第1レイヤ映像の符号化シンボルを利用して、第1レイヤ映像を復号化することができる。インターレイヤビデオ復号化装置20が、ツリー構造の符号化単位を基に符号化されたストリームを受信するならば、第1レイヤ復号化部22は、第1レイヤストリームの最大符号化単位ごとに、ツリー構造の符号化単位を基に復号化を行うことができる。
第1レイヤ復号化部22は、最大符号化単位ごとにエントロピー復号化を行い、符号化情報、及び符号化されたデータを獲得することができる。第1レイヤ復号化部22は、ストリームから獲得した符号化されたデータに対して逆量子化、逆変換を行い、レジデュアル成分を復元することができる。他の実施形態による第1レイヤ復号化部22は、量子化された変換係数のビットストリームを直接受信することもできる。量子化された変換係数に対して逆量子化、逆変換を行った結果、映像のレジデュアル成分が復元されもする。
第1レイヤ復号化部22は、同一レイヤ映像間に動き補償を介して、予測映像を決定し、予測映像とレジデュアル成分とを結合し、第1レイヤ映像を復元することができる。
第2レイヤ復号化部26は、インターレイヤ予測構造によれば、第1レイヤ復元映像のサンプルを利用して、第2レイヤ予測映像を生成することができる。第2レイヤ復号化部26は、第2レイヤストリームを復号化し、インターレイヤ予測による予測誤差を獲得することができる。第2レイヤ復号化部26は、第2レイヤ予測映像に予測誤差を結合することにより、第2レイヤ復元映像を生成することができる。
第2レイヤ復号化部26は、第1レイヤ復号化部22で復号化された第1レイヤ復元映像を利用して、第2レイヤ予測映像を決定することができる。第2レイヤ復号化部26は、インターレイヤ予測構造によって、第2レイヤ映像の符号化単位または予測単位のようなブロックが参照する第1レイヤ映像のブロックを決定することができる。例えば、第2レイヤ映像において、現在ブロックの位置に相応して位置する第1レイヤ映像の復元ブロックが決定される。第2レイヤ復号化部26は、第2レイヤブロックに相応する第1レイヤ復元ブロックを利用して、第2レイヤ予測ブロックを決定することができる。
第2レイヤ復号化部26は、インターレイヤ予測構造によって、第1レイヤ復元ブロックを利用して決定された第2レイヤ予測ブロックを、第2レイヤ原本ブロックのインターレイヤ予測のための参照映像として利用することもできる。その場合、第2レイヤ復号化部26は、第1レイヤ復元映像を利用して決定した第2レイヤ予測ブロックのサンプル値と、インターレイヤ予測によるレジデュアル成分とを合成することにより、第2レイヤブロックを復元することができる。
一方、前述のインターレイヤビデオ復号化装置20が多視点ビデオを復号化する場合、符号化される第1レイヤ映像は、第1視点ビデオであり、第2レイヤ映像は、第2視点ビデオでもある。
一方、多視点映像は、同一時間に取得されるために、各視点の映像別に類似度が非常に高い。従って、ディスパリティベクトルを利用して、他視点の映像において現在符号化するブロックと最も類似した領域を求めて符号化するディスパリティ補償予測(disparity compensated prediction)を行うことにより、符号化効率を高めることができる。
インターレイヤビデオ復号化装置20は、インターレイヤ予測のためのディスパリティベクトルをビットストリームを介して獲得したり、あるいは他の符号化情報から予測したりすることができる。
例えば、現在復元されるブロックの周辺ブロックから、ディスパリティベクトルが予測される。また、周辺ブロックからディスパリティベクトルを予測することができなければ、ディスパリティベクトルを、基本ディスパリティベクトルとして設定することができる。
ところで、インターレイヤビデオ復号化装置20がディスパリティベクトル予測のために利用する周辺ブロックを決定するために、周辺ブロック候補を検索するとき、現在ブロックと周辺ブロックとの距離を考慮しない場合、距離が遠い周辺ブロック候補が検索優先順位を有することができる。その場合、予測正確度が高い近い周辺ブロック候補の代わりに、距離が遠くて予測正確度が低い周辺ブロック候補が、ディスパリティベクトル予測のために利用される周辺ブロック候補に決定されるという問題がある。
従って、多様な実施形態によるインターレイヤビデオ復号化装置20は、現在ブロックと近い周辺ブロック候補を利用して、ディスパリティベクトル予測を行うことにより、さらに正確なディスパリティベクトル予測方法を提供することができる。従って、インターレイヤビデオ復号化装置20は、コーディング効率を高めることができ、さらには、処理過程を簡便化して復号化装置の複雑度を低減させることができる。
以下、多様な実施形態によるインターレイヤビデオ復号化装置20において、ディスパリティベクトルを決定する方法は、図4Aないし図7Dに係わる説明において具体的に説明する。
一方、空間的スケーラブルビデオコーディング方式によれば、第1レイヤ復号化部22が、第2レイヤ映像と異なる解像度の第1レイヤ映像を復元した場合、第2レイヤ復号化部26は、第1レイヤ復元映像を、第2レイヤ原本映像と同一解像度にサイズ調節を行うために補間することができる。補間された第1レイヤ復元映像を、インターレイヤ予測のための第2レイヤ予測映像として決定する。
従って、インターレイヤビデオ復号化装置20の第1レイヤ復号化部22は、第1レイヤストリームを復号化し、第1レイヤ映像シーケンスを復元し、第2レイヤ復号化部26は、第2レイヤストリームを復号化し、第2レイヤ映像シーケンスを復元することができる。
以下、インターレイヤ予測のために、ディスパリティベクトルを決定するインターレイヤビデオ復号化装置20の詳細な動作について、図2Bを参照して詳細に説明する。以下の説明において第1レイヤ映像は、参照視点映像を意味し、第2レイヤ映像は、復号化される現在視点の映像を意味する。
図2Bは、多様な実施形態によるインターレイヤビデオ復号化方法のフローチャートである。
段階21において、多様な実施形態によるディスパリティベクトル決定部24は、現在ブロックの、左側に位置する空間的周辺ブロック候補、上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。ここで、周辺ブロック候補のインターレイヤ方向の動きベクトルは、周辺ブロック候補が有するディスパリティベクトルを意味する。
例えば、ディスパリティベクトル決定部24は、複数の時間的周辺ブロック候補のうち、コロケーテッド位置の周辺ブロック候補がインターレイヤ方向の動きベクトルを有するか否かということを判断することができる。
また、ディスパリティベクトル決定部24は、複数の空間的周辺ブロック候補のうち、現在ブロックの左側境界に隣接したブロックのうち最も下端に位置する空間的周辺ブロック候補、及び前記現在ブロックの上側境界に隣接したブロックのうち最も右側に位置する空間的周辺ブロック候補がインターレイヤ方向の動きベクトルを有するか否かということを判断することができる。
そして、ディスパリティベクトル決定部24は、複数の時間的及び空間的な周辺ブロック候補のうち、現在ブロックの対角方向に位置した時間的及び空間的な周辺ブロック候補に対する検索を省略することができる。
ただし、ディスパリティベクトル決定部24は、前述の周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を探し出すことができない場合、現在ブロックの左側境界に隣接したブロックのうち最も下端に位置するブロックの下端、現在ブロックの左側境界に隣接したブロックのうち最も上端に位置するブロックの上端、現在ブロックの上側境界に隣接したブロックのうち最も右側に位置するブロックの右側に位置する空間的周辺ブロック候補、及び現在ブロックの時間的コロケーテッドブロックの右側境界に隣接したブロックのうち最も下端に位置するブロックの下端に位置する時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
すなわち、ディスパリティベクトル決定部24は、前記現在ブロックの左側に位置する空間的周辺ブロック候補、前記現在ブロックの上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補に優先順位を置き、前記インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。また、ディスパリティベクトル決定部24は、時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索した後、空間的周辺ブロック候補を検索することができるが、必ずにもかような順序に限定されるものではない。
一方、ディスパリティベクトル決定部24は、時間的周辺ブロック候補を検索するために参照される時間方向の参照ピクチャが2以上である場合、コロケーテッドピクチャに含まれた時間的周辺ブロック候補に優先順位を置き、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
例えば、コロケーテッドピクチャを検索した後、ラップ(RAP)ピクチャを検索することもでき、または、現在ピクチャと最も時間上距離が近いピクチャをまず検索することもできる。また、2つのピクチャにおいて、コロケーテッド位置の周辺ブロック候補をまず検索し、それ以外の周辺ブロック候補を探索することもできる。
段階23において、多様な実施形態によるディスパリティベクトル決定部24は、検索された周辺ブロック候補のインターレイヤ方向の動きベクトルを、前記現在ブロックのディスパリティベクトルと予測することができる。
一方、段階25において、多様な実施形態によるディスパリティベクトル決定部24は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が検索されない場合、周辺ブロック候補のうち、ディスパリティベクトル情報を有する周辺ブロック候補を検索することができる。例えば、周辺ブロック候補がインターレイヤ間動き予測補償を行った場合には、ディスパリティベクトル情報を有するので、ディスパリティベクトル決定部24は、周辺ブロック候補のうち、インターレイヤ間動き補償を行った周辺ブロック候補を検索することができる。
ここで、ディスパリティベクトル決定部24がディスパリティベクトル情報を有する空間的周辺ブロック候補を検索する動作は、段階21において説明したインターレイヤ方向の動きベクトルを有する空間的周辺ブロック候補を検索する動作と類似しているので、詳細な説明は省略する。
段階27において、多様な実施形態によるディスパリティベクトル決定部24は、検索された周辺ブロック候補のディスパリティベクトル情報を利用して、現在ブロックのディスパリティベクトルを予測することができる。
一方、ディスパリティベクトル決定部24は、周辺ブロック候補のうち、インターレイヤ間動き補償を行った周辺ブロック候補を検索することができない場合には、周辺ブロック候補からディスパリティベクトルを予測することができない場合であると判断し、ディスパリティベクトルを基本ディスパリティベクトルとして決定することができる。
ところで、周辺ブロックにおいて、ディスパリティベクトルを予測することができなかったとき、基本ディスパリティベクトルを(0,0)と設定する場合、ほとんどの多視点映像では、ディスパリティが発生するために、予測されたディスパリティベクトルが正確ではない可能性が高い。従って、ディスパリティベクトル決定部24は、基本ディスパリティベクトルを0ではない値に設定し、実際のディスパリティベクトルと類似したディスパリティベクトルを予測することができる。
また、ディスパリティベクトル決定部24は、周辺ブロックにおいて、ディスパリティベクトルを予測することができない場合にも、基本ディスパリティベクトルを0ではない値に設定し、ディスパリティベクトルを利用するモード(例えば、レジデュアル予測モード)を使用することができる。
また、ディスパリティベクトル決定部24は、周辺ブロックで予測されたディスパリティベクトルが(0,0)である場合にも、ディスパリティベクトルを0ではない値に再設定することができる。
または、ディスパリティベクトル決定部24は、周辺ブロックで予測されたディスパリティベクトルが(0,0)である場合には、ディスパリティに対して、ベクトルの正確度が低いと判断されるので、ディスパリティベクトルを利用するモードを使用しないように設定することもできる。
前述のところにより、インターレイヤビデオ復号化装置20は、予測されたディスパリティベクトルの正確度を高めることにより、符号化効率を高めることができる。
多様な実施形態によるインターレイヤビデオ復号化装置20は、第1レイヤ復号化部22、ディスパリティベクトル決定部24及び第2レイヤ復号化部26を総括的に制御する中央プロセッサ(図示せず)を含んでもよい。または、第1レイヤ復号化部22、ディスパリティベクトル決定部24及び第2レイヤ復号化部26がそれぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することにより、インターレイヤビデオ復号化装置20を全体的に作動される。または、多様な実施形態によるインターレイヤビデオ復号化装置20の外部プロセッサ(図示せず)の制御によって、第1レイヤ復号化部22、ディスパリティベクトル決定部24及び第2レイヤ復号化部26が制御されもする。
多様な実施形態によるインターレイヤビデオ復号化装置20は、第1レイヤ復号化部22、ディスパリティベクトル決定部24及び第2レイヤ復号化部26の入出力データが保存される1以上のデータ保存部(図示せず)を含んでもよい。インターレイヤビデオ復号化装置20は、データ保存部(図示せず)のデータ入出力を管轄するメモリ制御部(図示せず)を含んでもよい。
多様な実施形態によるインターレイヤビデオ復号化装置20は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連繋して作動することにより、逆変換を含んだビデオ復号化動作を遂行することができる。多様な実施形態によるインターレイヤビデオ復号化装置20の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、インターレイヤビデオ復号化装置20、または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを含むことにより、基本的なビデオ復号化動作を具現する場合を含んでもよい。
以下、図3を参照し、多様な実施形態によるビデオストリーム符号化装置10で遂行されるインターレイヤ予測構造について詳細に説明する。
図3は、多様な実施形態によるインターレイヤ予測構造を図示している。
一実施形態によるインターレイヤビデオ符号化装置10は、図3に図示された多視点ビデオ予測構造の再生順序30によって、基本視点映像、左視点映像及び右視点映像を予測符号化することができる。
関連技術による多視点ビデオ予測構造の再生順序30によれば、横方向に同一視点(view)の映像が配列されている。従って、「左(left)」と表記された左視点映像が横方向に一列に配列され、「真ん中(center)」と表記された基本視点映像が横方向に一列に配列され、「右(right)」と表記された右視点映像が横方向に一列に配列されている。基本視点映像は、左視点/右視点映像に対して、中央視点映像である。
また、縦方向にPOC(picture order count)順序の同一映像が配列される。映像のPOC順序は、ビデオを構成する映像の再生順序を示す。多視点ビデオ予測構造30で表示されている「POC X」は、当該列(column)に位置した映像の相対的な再生順序を示し、Xの数字が小さいほど、再生順序が先になり、大きくなるほど再生順序が遅くなる。
従って、関連技術による多視点ビデオ予測構造の再生順序30によれば、「左」と表記された左視点映像が、POC順序(再生順序)によって横方向に配列され、「真ん中」と表記された基本視点映像が、POC順序(再生順序)によって横方向に配列され、「右」と表記された右視点映像が、POC順序(再生順序)によって横方向に配列されている。また、基本視点映像と同一列に位置した左視点映像及び右視点映像は、いずれも視点は異なるが、POC順序(再生順序)が同一である映像である。
各視点別に、4個の連続映像が1つのGOP(group of picture)を構成している。各GOPは、連続するアンカーピクチャ間の映像と、1つのアンカーピクチャ(key picture)とを含む。
アンカーピクチャは、ランダムアクセスポイント(random acces spoint)であり、ビデオを再生するとき、映像の再生順序、すなわち、POC順序によって配列された映像のうち任意に再生位置が選択されれば、再生位置において、POC順序が最も隣接するアンカーピクチャが再生される。基本視点映像は、基本視点アンカーピクチャ31,32,33,34,35を含み、左視点映像は、左視点アンカーピクチャ131,132,133,134,135を含み、右視点映像は、右視点アンカーピクチャ231,232,233,234,235を含む。
多視点映像は、GOP順に再生されて予測(復元)される。まず、多視点ビデオ予測構造の再生順序30によれば、各視点別に、GOP 0に含まれた映像が再生された後、GOP 1に含まれた映像が再生される。すなわち、GOP 0、GOP 1、GOP 2、GOP 3の順序、各GOPに含まれた映像が再生される。また、多視点ビデオ予測構造のコーディング順序によれば、各視点別に、GOP 0に含まれた映像が予測(復元)された後、GOP 1に含まれた映像が予測(復元)される。すなわち、GOP 0、GOP 1、GOP 2、GOP 3の順序、各GOPに含まれた映像が予測(復元)される。
多視点ビデオ予測構造の再生順序30によれば、映像に対して、視点間予測(インターレイヤ予測)及びインター予測がいずれも行われる。多視点ビデオ予測構造において、矢印が始まる映像が参照映像であり、矢印が終わる映像が参照映像を利用して予測される映像である。
基本視点映像の予測結果は、符号化された後、基本視点映像ストリームの形態で出力され、付加視点映像の予測結果は、符号化された後、レイヤビットストリームの形態で出力される。また、左視点映像の予測符号化結果は、第1レイヤビットストリームとして出力され、右視点映像の予測符号化結果は、第2レイヤビットストリームとして出力される。
基本視点映像については、インター予測だけが行われる。すなわち、Iピクチャタイプであるアンカーピクチャ31,32,33,34,35は、他の映像を参照しないが、Bピクチャタイプ及びbピクチャタイプである残りの映像は、他の基本視点映像を参照して予測される。Bピクチャタイプ映像は、POC順序が先になるIピクチャタイプアンカーピクチャと、後になるIピクチャタイプアンカーピクチャとを参照して予測される。bピクチャタイプ映像は、POC順序が先になるIピクチャタイプアンカーピクチャと、後になるBピクチャタイプ映像とを参照するか、あるいはPOC順序が先になるBピクチャタイプ映像と、後になるIピクチャタイプアンカーピクチャとを参照して予測される。
左視点映像及び右視点映像については、それぞれ、異なる視点映像を参照する視点間予測(インターレイヤ予測)、及び同一視点映像を参照するインター予測が行われる。
左視点アンカーピクチャ131,132,133,134,135に対して、それぞれPOC順序が同一である基本視点アンカーピクチャ31,32,33,34,35を参照して視点間予測(インターレイヤ予測)が行われる。右視点アンカーピクチャ231,232,233,234,235については、それぞれPOC順序が同一である基本視点映像31,32,33,34,35、または左視点アンカーピクチャ131,132,133,134,135を参照し、視点間予測が行われる。また、左視点映像及び右視点映像のうち、アンカーピクチャ131,132,133,134,135、231,232,233,234,235ではない残りの映像についても、POCが同一である他視点映像を参照する視点間予測(インターレイヤ予測)が行われる。
左視点映像及び右視点映像のうち、アンカーピクチャ131,132,133,134,135、231,232,233,234,235ではない残りの映像は、同一視点映像を参照して予測される。
ただし、左視点映像及び右視点映像は、それぞれ、同一視点の付加視点映像のうち、再生順序が先行するアンカーピクチャを参照して予測されないこともある。すなわち、現在左視点映像のインター予測のために、現在左視点映像より再生順序が先行する左視点アンカーピクチャを除いた左視点映像が参照される。同様に、現在右視点映像のインター予測のために、現在右視点映像より再生順序が先行する右視点アンカーピクチャを除いた右視点映像が参照される。
また、現在左視点映像のインター予測のために、現在左視点映像が属した現在GOPより先行する以前GOPに属する左視点映像を参照せず、現在GOPに属するが、現在左視点映像より先に復元される左視点映像を参照して予測が行われることが望ましい。右視点映像の場合も同様である。
多様な実施形態によるインターレイヤビデオ復号化装置20は、図3に図示された多視点ビデオ予測構造の再生順序30によって、基本視点映像、左視点映像及び右視点映像を復元することができる。
左視点映像は、基本視点映像を参照する視点間ディスパリティ補償と、左視点映像を参照するインタ動き補償とを介して復元される。右視点映像は、基本視点映像及び左視点映像を参照する視点間ディスパリティ補償と、右視点映像を参照するインタ動き補償とを介して復元される。左視点映像及び右視点映像のディスパリティ補償及び動き補償のために、参照映像が先に復元されなければならない。
左視点映像のインタ動き補償のために、復元された左視点の参照映像を参照するインタ動き補償を介して、左視点映像が復元される。右視点映像のインタ動き補償のために、復元された右視点の参照映像を参照するインタ動き補償を介して、右視点映像が復元される。
また、現在左視点映像のインタ動き補償のために、現在左視点映像が属した現在GOPより先行する以前GOPに属する左視点映像を参照せず、現在GOPに属するが、現在左視点映像より先に復元される左視点映像だけ参照されることが望ましい。右視点映像の場合も同様である。
また、多様な実施形態によるインターレイヤビデオ復号化装置20は、多視点映像を復号化/符号化するために、ディスパリティ補償(または、インターレイヤ予測補償)を行うだけではなく、視点間動きベクトル予測を介して、映像間動き補償(または、インターレイヤ動き予測補償)を行うこともできる。
以下、図4Aを参照し、インターレイヤディスパリティ補償及びインターレイヤ動きベクトル予測補償について説明する。
図4Aは、多様な実施形態による、インターレイヤ間予測のためのディスパリティベクトルについて説明するための図面である。図4Aを参照すれば、多様な実施形態によるインターレイヤビデオ復号化装置20は、ディスパリティベクトルDVを利用して、第2レイヤ現在ピクチャ1400に含まれた現在ブロック1401に対応する第1レイヤ参照ピクチャ1402に含まれた第1レイヤ参照ブロック1403を見い出すインターレイヤ予測を行い、第1レイヤ参照ブロック1403を利用して、ディスパリティ補償を行うことができる。
また、多様な実施形態によるインターレイヤビデオ復号化装置20は、インターレイヤ動き予測補償のために、第2レイヤ現在ブロック1401において、ディスパリティベクトルDVが示す第1レイヤ参照ブロック1403の参照動きベクトルMVrefを獲得し、獲得された参照動きベクトルMVrefを利用して、現在ブロック1401の動きベクトルMVcurを予測することができる。その場合、インターレイヤビデオ復号化装置20は、予測された動きベクトルMVcurを利用して、第2レイヤ映像間に動き補償を行うことができる。ここで、参照位置は、現在ブロック1401の中心ピクセルから、ディスパリティベクトルDVが示す位置であるか、現在ブロック1401の左側上端ピクセルから、ディスパリティベクトルDVが示す位置でもある。
前述のように、互いに異なる視点の映像を参照して補償予測を行うためにはデ、ィスパリティベクトルが必要である。ディスパリティベクトルは、別途の情報として、ビットストリームを介して、符号化装置から復号化装置に伝送され、深さ映像またはブロックを基に予測される。
例えば、図4Bは、一実施形態によって、空間的周辺ブロック候補を利用して、ディスパリティベクトルを予測する一例を示している。
図4Bを参照すれば、インターレイヤ復号化装置20は、現在映像40において、現在ブロック1500のディスパリティベクトルを予測するために、空間的周辺ブロック候補を、所定検索順序(例えば、z−scanまたはraster scan)によって検索することができる。ここで、検索される周辺ブロック候補は、現在ブロック1500に、時間的または空間的に隣接する予測単位でもある。
例えば、現在ブロック1500の左側下端に位置する周辺ブロックA0 1510、現在ブロック1500の左側に位置する周辺ブロックA1 1520、現在ブロック1500の右側上端に位置する周辺ブロックB0 1530、現在ブロック1500の上端に位置する周辺ブロックB1 1540、現在ブロック1500の左側上端に位置する周辺ブロックB2 1550がディスパリティベクトルを獲得するための空間的周辺ブロック候補にもなる。ディスパリティベクトルを獲得するために、周辺ブロック候補A1 1520、B1 1540、B0 1530、A0 1510、B2 1550の順序で所定位置の周辺ブロックが探索される。
他の例として、図4Bの周辺ブロック候補A1 1520上、B1 1540上、B0 1530上、A0 1510上、B2 1550上の位置は、下記の表1のように定義される。
前記表1において、(xPb,xPb)は、現在ブロックの位置を示し、nPbW及びnPbHは、それぞれ現在ブロックの縦横サイズ、(xN,yN)は、周辺ブロック(A
1,B
1,B
0,A
0,B
2)の位置を示すことができる。
一方、インターレイヤ復号化装置20は、周辺ブロック候補のうち、ディスパリティベクトル(インターレイヤ方向の動きベクトル)が獲得される場合、獲得されたディスパリティベクトルを利用して、現在ブロックのディスパリティベクトルを予測することができる。
図4Cは、多様な実施形態による、ディスパリティベクトルを予測するための空間的周辺ブロック候補を示している。
図4Cを参照すれば、インターレイヤビデオ復号化装置20は、現在ピクチャ40に含まれた現在ブロック1500のインター予測のために、参照ピクチャ41に含まれ、現在ブロック1500とコロケーテッドであるブロック(Col)1560、及びコロケーテッドブロック1560の周辺のブロックのうち少なくとも一つが時間的周辺ブロック候補に含まれもする。例えば、コロケーテッドであるブロック(Col)1560の右側下端ブロック(BR)1570が時間的予測候補に含まれもする。一方、時間的予測候補決定に利用されるブロックは、符号化単位または予測単位でもある。
また、ここで、参照ピクチャ41は、コロケーテッドピクチャ、参照リストにおいて最も近いか、あるいは参照リストにおいて、インデックス(index)が最小であるピクチャでもある。または、参照ピクチャ41は、階層(hierarchical)予測構造上、現在参照リストのうち最も高いレベル(level)のピクチャでもある。または、参照ピクチャ41は、任意接近ポイント(RAP:random access point)ピクチャでもある。
従来の方式によれば、インターレイヤビデオ復号化装置20は、ディスパリティベクトルを予測するために、空間的及び時間的な周辺ブロック候補を、事前に決定された順序(例えば、コロケーテッドピクチャの右側下端ブロック(BR)→コロケーテッドピクチャのコロケーテッドブロック(Col)→RAPピクチャの右側下端ブロック(BR)→RAPピクチャのコロケーテッドブロック(Col)→現在ブロックの左側に位置する周辺ブロックA1→現在ブロックの上端に位置する周辺ブロックB1→現在ブロックにおいて対角方向に、右側上端に位置する周辺ブロックB0→現在ブロックにおいて対角方向に、左側下端に位置する周辺ブロックA0→現在ブロックにおいて対角方向に、左側上端に位置する周辺ブロックB2)通り検索し、インターレイヤ方向の動きベクトルを有しているか否かということを判断することができる。また、検索順序上最も先に獲得されるインターレイヤ方向の動きベクトルを、現在ブロックのディスパリティベクトルと予測することができる。
もしディスパリティ補償が行われたブロックが存在しなければ、インターレイヤビデオ復号化装置20は、空間的周辺ブロックA1,B1,B0,A0,B2のうち、インターレイヤ動き予測補償を行ったブロックがあるか否かということを判断する。インターレイヤ復号化装置20は、事前に決定された順序(例えば、現在ブロックの左側に位置する周辺ブロックA1→現在ブロックの上端に位置する周辺ブロックB1→現在ブロックにおいて対角方向に、右側上端に位置する周辺ブロックB0→現在ブロックにおいて対角方向に、左側下端に位置する周辺ブロックA0→現在ブロックにおいて対角方向に、左側上端に位置する周辺ブロックB2)によって、インターレイヤ動き予測補償を行った周辺ブロック候補を検索し、検索された周辺ブロック候補からディスパリティベクトル情報を獲得し、現在ブロック1500のディスパリティベクトルを予測することができる。
ところで、インターレイヤビデオ復号化装置20がディスパリティベクトル予測のために利用する周辺ブロックを決定するために、周辺ブロック候補を検索するとき、現在ブロックと周辺ブロックとの距離を考慮しない場合、予測正確度が高い近くの周辺ブロック候補の代わりに、距離が遠くて予測正確度が低い周辺ブロック候補が、ディスパリティベクトル予測のために利用される周辺ブロックとして決定されるという問題がある。
従って、以下、図5ないし図7D及びシンタックス要素を参照し、多様な実施形態による、インターレイヤビデオ符号化装置10または復号化装置20が、現在ブロックと近い周辺ブロック候補を利用して、ディスパリティベクトル予測を行うことにより、さらに正確なディスパリティベクトルを予測する方法について説明する。
図5は、多様な実施形態によるブロック基盤ディスパリティベクトル予測方法を示すフローチャートである。
段階51において、多様な実施形態によるインターレイヤビデオ復号化装置20は、現在ブロックとの距離に基づいて、時間的または空間的周辺ブロック候補の検索優先順位決定する。
インターレイヤビデオ復号化装置20は、現在ブロックと距離が近い周辺ブロック候補を、優先順位が高い周辺ブロック候補に決定し、相対的に距離が遠い残りのブロック候補を、検索優先順位が低い周辺ブロック候補に決定することができる。
従って、インターレイヤビデオ復号化装置20は、近くの周辺ブロック候補がディスパリティベクトルを有しているか否かということをまず検索し、次に残りの周辺ブロック候補が、ディスパリティベクトルを有しているか否かということを検索することができる。
例えば、次のような組み合わせによって、検索順序が決定される。
(1)近くの時間的周辺ブロック候補(複数含む)探索→近くの空間的周辺ブロック候補(複数含む)探索→それ以外の時間的周辺ブロック候補(複数含む)探索→それ以外の空間的周辺ブロック候補(複数含む)探索
(2)近くの空間的周辺ブロック候補(複数含む)探索→近くの時間的周辺ブロック候補(複数含む)探索→それ以外の空間的周辺ブロック候補(複数含む)探索→それ以外の時間的周辺ブロック候補(複数含む)探索
(3)近くの空間的周辺ブロック候補(複数含む)探索→それ以外の空間的周辺ブロック候補(複数含む)探索→近くの時間的周辺ブロック候補(複数含む)探索→それ以外の時間的周辺ブロック候補(複数含む)探索
(4)近くの時間的周辺ブロック候補(複数含む)探索→それ以外の時間的周辺ブロック候補(複数含む)探索→近くの空間的周辺ブロック候補(複数含む)探索→それ以外の空間的周辺ブロック候補(複数含む)探索
ここで、近くの周辺ブロック候補には、現在ブロックの左側に位置する空間的周辺ブロック候補(A1)、現在ブロックの上側に位置する空間的周辺ブロック候補(B1)、及びコロケーテッド位置の時間的周辺ブロック候補(Col)が含まれもする。
ただし、前述の実施形態に限定されるものではなく、現在ブロックから近い周辺ブロック候補が優先順位を有する範囲内で検索順序が変更されるということは言うまでもない。
一方、インターレイヤビデオ復号化装置20は、時間的周辺ブロック候補を検索するために参照される時間方向の参照ピクチャが2以上である場合、コロケーテッドピクチャに含まれた時間的周辺ブロック候補に優先順位を置き、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
例えば、インターレイヤビデオ復号化装置20は、次のような組み合わせによって、時間的周辺ブロック候補を検索することができる。
(1)コロケーテッドピクチャのコロケーテッドブロック(Col)→RAPピクチャのコロケーテッドブロック(Col)→コロケーテッドピクチャの右側下端ブロック(BR)→RAPピクチャの右側下端ブロック(BR)
(2)コロケーテッドピクチャのコロケーテッドブロック(Col)→コロケーテッドピクチャの右側下端ブロック(BR)→RAPピクチャのコロケーテッドブロック(Col)→RAPピクチャの右側下端ブロック(BR)
すなわち、コロケーテッドピクチャを検索した後、ラップ(RAP)ピクチャを検索することもでき、または、現在ピクチャと最も時間上距離が近いピクチャを先に探索することもできる。また、2つのピクチャにおいて、コロケーテッド位置の周辺ブロック候補を先に検索し、それ以外の周辺ブロック候補を探索することもできる。一方、現在ピクチャと時間上距離が近いピクチャは、現在ピクチャとPOC値が最も近いピクチャを意味する。
段階52において、インターレイヤビデオ復号化装置20は、決定された優先順位により、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。
段階53において、インターレイヤビデオ復号化装置20は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が存在するか否かということを判断することができる。
インターレイヤビデオ復号化装置20は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が存在する場合、段階54に進み、検索された周辺ブロック候補のインターレイヤ方向動きベクトルを、現在ブロックのディスパリティベクトルと予測することができる。
一方、インターレイヤビデオ復号化装置20は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が存在しない場合、段階55に進み、ディスパリティベクトル情報を有する周辺ブロック候補を検索することができる。
例えば、インターレイヤビデオ復号化装置20は、段階51で決定された周辺ブロック候補の検索優先順位により、空間的周辺ブロック候補のうち、ディスパリティベクトル情報を有する周辺ブロック候補が存在するか否かということを判断することができる。
段階56において、インターレイヤビデオ復号化装置20は、ディスパリティベクトル情報を有する周辺ブロック候補が検索されるか否かということを判断し、検索される場合、段階57で検索された周辺ブロック候補のディスパリティベクトル情報を利用して、現在ブロックのディスパリティベクトルを予測することができる。
一方、インターレイヤビデオ復号化装置20は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が存在しない場合、段階58に進み、ディスパリティベクトルを、基本ディスパリティベクトルとして設定することができる。
図6Aは、多様な実施形態による、ディスパリティベクトルを予測するための空間的及び時間的な周辺ブロック候補を示す他の例である。図6Aを参照すれば、多様な実施形態によるインターレイヤビデオ復号化装置20は、ディスパリティベクトルを予測するための空間的及び時間的な周辺ブロック候補として、現在ブロック1600の左側に位置する空間的周辺ブロック候補(A1)1620、現在ブロック1600の上側に位置する空間的周辺ブロック候補(B1)1640、及びコロケーテッド位置の時間的周辺ブロック候補(Col)1660のみを利用することができる。
すなわち、ビデオ復号化装置20は、複数の時間的及び空間的な周辺ブロック候補のうち、現在ブロック1600の対角方向に位置した時間的及び空間的な周辺ブロック候補(A0,B0,B2,BR)に対する検索を省略することができる。
例えば、図6Bは、多様な実施形態によるブロック基盤ディスパリティベクトル予測方法の他の例を示すフローチャートである。
段階61において、インターレイヤビデオ復号化装置20は、現在ブロックの、左側に位置する空間的周辺ブロック候補、上側に位置する空間的周辺ブロック候補、及びコロケーテッド位置の時間的周辺ブロック候補のうち、インターレイヤ方向の動きベクトルを有する周辺ブロック候補を検索することができる。ここで、周辺ブロック候補のインターレイヤ方向の動きベクトルは、周辺ブロック候補が有するディスパリティベクトルを意味する。
例えば、インターレイヤビデオ復号化装置20は、次のような順序周辺ブロック候補を検索することができる。
コロケーテッドピクチャのコロケーテッドブロック候補(Col)→RAPピクチャのコロケーテッドブロック候補(Col)→現在ブロックの左側に位置する空間的周辺ブロック候補(A1)→現在ブロックの上側に位置する空間的周辺ブロック候補(A2)
段階62において、インターレイヤビデオ復号化装置20は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が存在するか否かということを判断することができる。
インターレイヤビデオ復号化装置20は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が存在する場合、段階64に進み、検索された周辺ブロック候補のインターレイヤ方向動きベクトルを、現在ブロックのディスパリティベクトルと予測することができる。
一方、インターレイヤビデオ復号化装置20は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が存在しない場合、段階63に進み、ディスパリティベクトル情報を有する周辺ブロック候補を検索することができる。
例えば、インターレイヤビデオ復号化装置20は、現在ブロックの左側に位置する空間的周辺ブロック候補(A1)、及び現在ブロックの上側に位置する空間的周辺ブロック(B1)のうちに、ディスパリティベクトル情報を有する周辺ブロック候補が存在するか否かということを判断することができる。
段階65において、インターレイヤビデオ復号化装置20は、ディスパリティベクトル情報を有する周辺ブロック候補が検索されるか否かということを判断し、検索される場合、段階67で検索された周辺ブロック候補のディスパリティベクトル情報を利用して、現在ブロックのディスパリティベクトルを予測することができる。
一方、インターレイヤビデオ復号化装置20は、インターレイヤ方向の動きベクトルを有する周辺ブロック候補が存在しない場合、段階66に進み、ディスパリティベクトルを基本ディスパリティベクトルとして設定することができる。
前述のところによって、インターレイヤビデオ復号化装置20は、現在ブロックと近い周辺ブロック候補を利用して、ディスパリティベクトル予測を行うことにより、さらに正確なディスパリティベクトル予測方法を提供することができる。それを介して、インターレイヤビデオ復号化装置20は、コーディング効率を高めることができ、さらには、処理過程を簡便化し、復号化装置の複雑度を低減させることができる。
一方、多様な実施形態によれば、図6A及び図6Bで説明した内容は、以下の実施形態によって具現される。
多様な実施形態によって、インターレイヤビデオ復号化装置20が周辺ブロック基盤ディスパリティベクトルを予測する方法において、入力は、現在ピクチャにおいて、現在ブロックの位置(xCb,yCb)、及び現在ブロックの横または縦の大きさであるnCbSである。ここで、現在ブロックの位置は、現在ブロックの左側上端サンプルの位置として示すことができる。
まず、ディスパリティベクトルが予測可能であるか否かということを判断するフラグ(dvAvailFlag)及びディスパリティベクトル(mvDisp)は、0に設定される。
また、並列処理に係わる変数checkParallelMergeFlagは、次のように誘導される。具体的には、次の条件のうち少なくとも一つが満足される場合には、checkParallelMergeFlagが1に設定され、残り場合は、0に設定される。
−現在ブロックの予測モード(CuPredMode[xCb][yCb])がスキップモード(MODE_SKIP)である場合
−現在ブロックの予測モードがインタモード(MODE_INTER)であり、MergeFlag[xCb][yCb]が1である場合
次に、時間的周辺ブロック候補を利用して、ディスパリティベクトルが予測可能であるか否かということを判断する。ここで、入力は、現在ブロックの位置(xCb,yCb)、及び現在ブロックの大きさ(nCbS)であり、出力は、ディスパリティベクトルが予測可能であるか否かということを判断するフラグ(dvAvailFlag)、ディスパリティベクトル(mvDisp)及び参照ビュー順序インデックス(refViewIdx)である。一方、時間的周辺ブロック候補を利用して、ディスパリティベクトルが予測可能であるか否かということを判断する具体的な過程については説明する。
次に、dvAvailFlagが0であるとき、周辺ブロック候補(N)であるA1及びB1の位置(xN,yN)は、それぞれ(xCb−1,yCb+nCbS−1)、(xCb+nCbS−1,yCb−1)であり、次の過程が段階的に適用される。
1.yCb−1が((yCb≫Log2CtbSizeY)≪Log2CtbSizeY)より小さいとき、次の表2に示されたアルゴリズムが適用される。
2.zスキャン順序によって、周辺ブロック候補(N)が使用可能(availableN)であるか否かということを判断するプロセスが遂行される。例えば、周辺ブロック候補(N)が、現在ピクチャの境界外に、ある場合、availableNが0である。
3.availableNが1であり、現在ブロックの予測モード(CuPredMode[xN][yN])がイントラモード(MODE_INTRA)である場合、availableNを0に設定する。
4.次の表3に示された全ての条件を満足(true)する場合、availableNを0に設定する。
5.フラグavailableIvpMvSearchFlagNは、availableNのような値に設定される。
6.周辺ブロック候補(N)がB1であるとき、及び((yN≫Log2CtbSizeY)≪Log2CtbSizeY)が((yCb≫Log2CtbSizeY)≪Log2CtbSizeY)より小さいときのうち1つの条件を満足すれば、availableIvpMvSearchFlagNは、0に設定される。
7.フラグavailableFlagIvpMvNは、0に設定される。
8.Xが0または1であるとき、フラグdvAvailFlagが0であり、availableNが1であり、RefIdxLX[xN[yN]が0より大きいか、あるいはそれと同じであるなり、PredFlagLX[xN][yN]が1であるならば、次のプロセスが適用される。
(1)もしRefPicListX[RefIdxLX[xN][yN]]が現在ピクチャのインタビュー(inter-view)参照ピクチャであるならば、次の表4のように変数が設定される。
すなわち、参照ビューインデックス(refViewIdx)は、周辺ブロック(N)のビューインデックス(ViewIdx(RefPicListX[RefIdxLX[xN][yN]]))に設定され、ディスパリティベクトル(mvDisp)は、周辺ブロック候補の動きベクトルMvLXN[xN][yN]に設定され、ディスパリティベクトルが使用可能であるとに設定される。
(2)他の場合、周辺ブロック(N)の参照ピクチャ(RefPicListX[RefIdxLX[xN][yN]])がインタビュー参照ピクチャではない場合)には、次のプロセスが適用される。availableIvpMvSearchFlagNが1であり、availableFlagIvpMvNが0であり、CuPredMode[xN][yN]がスキップモード(MODE_SKIP)であり、ディスパリティが使用可能であるということを示すフラグIvpMvFlag[xN][yN]が1である場合、次の表5のように変数が設定される。
すなわち、ivpMvDispNは、周辺ブロック候補(N)のディスパリティベクトル(MvRefinedDisp[xN][yN)に設定され、refViewIdxNは、周辺ブロック候補(N)の参照ビューインデックスに設定され、周辺ブロック候補(N)のインターレイヤ方向動きベクトルが利用可能であると設定される。
次に、dvAvailFlagが0であるならば、周辺ブロック候補(N)がそれぞれA1またはB1であるとき、フラグavailableFlagIvpMvNが1であるならば、次の表6のように変数が設定される。
また、dvAvailFlagが0であるならば、refViewIdxは、DefaultRefViewIdxであり、ディスパリティベクトルmvDispは、(0,0)に設定される。
一方、前述の説明において、時間的周辺ブロック候補を利用して、ディスパリティベクトルを予測する方法は、次のように具現される。
まず、入力は、現在ブロックの位置(xCb,yCb)、及び現在ブロックの大きさ(nCbS)であり、出力は、ディスパリティベクトルが予測可能であるか否かということを判断するフラグ(dvAvailFlag)、ディスパリティベクトル(mvDisp)及び参照ビュー順序インデックス(refViewIdx)である。
ルマ位置(xCCtr,yCCtr)は、次の表7の式によって誘導される現在ブロックの中心位置によって特定される。
次に、フラグavailableFlagは、0に設定され、ディスパリティベクトルmvDispは、(0,0)に設定される。
iが0からNumDdvCandPics−1まで増加する間、再帰的に次のプロセスの各段階が反復され、availableFlagが1に設定されれば、次のプロセスが終わる。
1.DdvCandPicsList[i]の予測単位colPuが、ポジション((xCCtr≫4)≪4、(yCCtr≫4)≪4)をカバーすると仮定する。
2.ポジション(xPCol,yPCol)は、DdvCandPicsList[i]のルマサンプルの左側上端と係わるcolPuの左側上端サンプルの位置に設定される。
3.もしスライスタイプがBであるならば、変数dirは、collocated_from_l0_flagの値と同一に設定され、他の場合には、変数dirは、1−collocated_from_l0_flagの値と同一に設定される。
4.dirから1−dirまでの各X値に対して、再帰的に次のプロセスが遂行される。
(3)変数candPicRefPicList,candPredFlag,candRefIdx及びcandMVが、それぞれRefPicListX、RefIdxLX及びDdvCandPicsList[i]のMvLXに設定される。
(4)colPuがイントラ予測モードで符号化されず、candPredFlag[xPCol][yPCol]が1であるとき、candRefViewIdxがViewIdx(candPicRefPicList[candRefIdx[xPCol][yPCol]]に設定される。
また、candRefViewIdxが、ViewIdx(DdvCandPicsList[i])が互いに同じではなく、インタビュー参照ピクチャのViewIdxが、RefPicList0またはRefPicList1のcandViewIdxと同じであるならば、次の表8の動作が遂行される。
ところで、周辺ブロックにおいて、スパリティベクトルを予測することができなかったとき、基本ディスパリティベクトルを(0,0)と設定する場合、ほとんどの多視点映像においては、ディスパリティが発生するために、予測されたディスパリティベクトルが正確ではない可能性が高い。従って、ディスパリティベクトル決定部14は、基本ディスパリティベクトルを0ではない値に設定し、実際のディスパリティベクトルと類似したディスパリティベクトルを予測することができる。
例えば、図7Aは、多様な実施形態による、ディスパリティベクトルが予測可能ではない場合、ディスパリティベクトルを決定する方法を示すフローチャートである。
段階71において、インターレイヤビデオ復号化装置20は、現在ブロックの周辺ブロック候補を利用して、ディスパリティベクトルを予測することができる。現在ブロックの周辺ブロックを基に、ディスパリティベクトルを予測する方法は、図5ないし図6Bを参照して説明したので省略する。
段階72において、インターレイヤビデオ復号化装置20は、現在ブロックのディスパリティベクトルが予測可能であるか否かということを判断する。例えば、周辺ブロック候補において、インターレイヤ方向の動きベクトルを有した周辺ブロック候補、またはディスパリティベクトル情報自体を有する周辺ブロック候補が検索されるか否かということを判断する。
もしディスパリティベクトルが予測可能である場合、段階74に進み、インターレイヤビデオ復号化装置20は、予測されたディスパリティベクトルを、現在ブロックのディスパリティベクトルとして決定する。
一方、ディスパリティベクトルが予測可能ではない場合、ビデオ復号化装置20は、現在ブロックに、0ではない基本ディスパリティベクトルを設定する。
具体的には、ビデオ復号化装置20は、既設定の基本ディスパリティベクトル(0,0)と、カメラパラメータ及びインターレイヤの深さ映像の深さ値とを利用して、現在ブロックのディスパリティ値を決定することができる。
例えば、深さ映像の深さ値が有することができる値の範囲の中間値(例えば、深さ値が8ビットの範囲を有するとき、128を中間値とすることができる)をディスパリティに変換し、変換されたディスパリティ値を、基本ディスパリティベクトルとして決定することができる。
他の例として、図7Bは、多様な実施形態による、ディスパリティベクトルが予測可能ではない場合、ディスパリティベクトルを決定する方法の一例を示している。
一実施形態によるインターレイヤビデオ復号化装置20は、周辺ブロック候補を利用して、ディスパリティベクトルが予測されない場合(dvAvailFlag==0)、基本ディスパリティベクトル(mvDisp)と、第1レイヤ深さ映像1720とを利用して、第2レイヤカラー映像1700で復号化される現在ブロック1710のディスパリティベクトル(mvRefinedDisp)を決定することができる。ここで、基本ディスパリティベクトル(mvDisp)は、(0,0)値を有する。
具体的には、インターレイヤビデオ復号化装置20は、第2レイヤ現在ブロック1710位置を基準に、基本ディスパリティベクトル(mvDisp)が示す第1レイヤ深さ映像1720のコロケーテッド参照ブロック1730を決定する。
次に、インターレイヤビデオ復号化装置20は、決定された第1レイヤ深さマップの参照ブロック1730のコーナー深さ値1731,1732,1733,1734のうち最大の深さ値を獲得し、ディスパリティベクトルに換算する。
例えば、シンタックス要素として、現在ブロック1710の位置(xCb,yCb)、基本ディスパリティベクトル(mvDisp)及び参照ビューインデックス(refViewiewIdx)を利用して(、nCbS)x(nCbS)サイズに換算されたディスパリティベクトル値「disparitySamples[][]」が決定される。ここで、nCbSは、現在ブロック1710の符号化単位の水平方向または垂直方向の大きさを意味する。
最後に、インターレイヤビデオ復号化装置20は、換算されたディスパリティベクトルの水平成分値と、基本ディスパリティベクトル(mvDisp)の垂直成分値とを利用して、現在ブロック1710のディスパリティベクトル(mvRefinedDisp)を決定する。
例えば、決定されたディスパリティベクトル(mvRefinedDisp)は、(disparitySamples[0][0]、mvDisp[1])と示される。ここで、ディスパリティベクトルの垂直成分値である「mvDisp[1]」は、0である。
一方、インターレイヤ符号化方式においては、特定モード(例えば、レジデュアル予測モード)の場合には、周辺ブロックからディスパリティベクトルを予測することができない場合、当該モードを実行しないが、ディスパリティベクトルを0ではない値に設定し、ディスパリティベクトルを利用するモードを使用することができる。
具体的には、レジデュアル予測モードは、第2レイヤ現在ブロックの動きベクトル値と、それに対応する第1レイヤ参照ブロックの動きベクトル値との差分値をシグナリングするモードを意味する。ところで、ディスパリティベクトルが、周辺ブロックに予測されない場合には、その予測正確度が低くなり、レジデュアル予測モードを使用しない。しかし、多様な実施形態によるインターレイヤビデオ復号化装置20は、ディスパリティベクトルを0ではない値に設定し、ディスパリティベクトルを利用するモードを使用することができる。
一方、インターレイヤビデオ復号化装置20は、周辺ブロックで予測されたディスパリティベクトルが(0,0)である場合にも、それと類似した動作を遂行することができる。
図7Cは、多様な実施形態による、ディスパリティベクトルが(0,0)と予測される場合、ディスパリティベクトルを決定する方法のフローチャートを示している。
段階81において、インターレイヤビデオ復号化装置20は、現在ブロックの周辺ブロック候補を利用して、ディスパリティベクトルを予測し、段階82で予測されたディスパリティベクトルが(0,0)であるか否かということを判断する。
もし予測されたディスパリティベクトルが(0,0)ではないならば、インターレイヤビデオ復号化装置20は、段階84に進み、予測されたディスパリティベクトルを、現在ブロックのディスパリティベクトルとして決定する。
反対に、予測されたディスパリティベクトルが(0,0)であるならば、ディスパリティベクトル予測の正確度が低いと判断し、インターレイヤビデオ復号化装置20は、段階85に進む。その場合、インターレイヤビデオ復号化装置20は、ディスパリティベクトルが予測されない場合と同様に、現在ブロックのディスパリティベクトルを、0ではないディスパリティベクトルとして設定することができる。
一方、インターレイヤビデオ復号化装置20は、周辺ブロックで予測されたディスパリティベクトルが(0,0)である場合には、ディスパリティが、ベクトルの正確度が低いと判断されるので、ディスパリティベクトルを利用するモードを使用しないように設定することもできる。
例えば、図7Dは、多様な実施形態によるディスパリティベクトルが(0,0)と予測される場合、ディスパリティベクトルを利用するモードを設定する方法のフローチャートを示している。
段階91において、インターレイヤビデオ復号化装置20は、現在ブロックの周辺ブロック候補を利用して、ディスパリティベクトルを予測し、段階92で予測されたディスパリティベクトルが(0,0)であるか否かということを判断する。
もし予測されたディスパリティベクトルが(0,0)ではないならば、インターレイヤビデオ復号化装置20は、段階94に進み、予測されたディスパリティベクトルを利用するモードを使用する。
反対に、予測されたディスパリティベクトルが(0,0)であるならば、インターレイヤビデオ復号化装置20は、ディスパリティベクトル予測の正確度が低いと判断し、段階93に進み、予測されたディスパリティベクトルを利用するモードを使用しないように設定することができる。従って、インターレイヤビデオ復号化装置20は、ディスパリティベクトルの正確度が低い場合、ディスパリティベクトルを利用するモードを使用しないことにより、符号化効率を向上させることができる。
一方、図5ないし図7Dで説明した動作は、インターレイヤビデオ復号化装置20が遂行することを前提に説明したが、インターレイヤビデオ符号化装置10においても、同一動作が遂行されるということは、本実施形態が属する技術分野の当業者であるならば、容易に理解することができるであろう。
多様な実施形態によるインターレイヤビデオ符号化装置10、及び多様な実施形態によるインターレイヤビデオ復号化装置20において、ビデオデータが分割されるブロックが、ツリー構造の符号化単位に分割され、符号化単位に対するインターレイヤ予測またはインター予測のために、符号化単位、予測単位、変換単位が利用される場合があるということは、前述の通りである。以下、図8ないし図20を参照し、多様な実施形態による、ツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置を開示する。
原則的に、マルチレイヤビデオのための符号化/復号化過程において、第1レイヤ映像のための符号化/復号化過程と、第2レイヤ映像のための符号化/復号化過程とが別途に遂行される。すなわち、マルチレイヤビデオにおいて、インターレイヤ予測が発生する場合には、シングルレイヤビデオの符号化/復号化結果が相互参照されるが、シンググレイヤビデオごとに別途の符号化/復号化過程が発生する。
従って、説明の便宜のために、図8ないし図20を参照して説明するツリー構造の符号化単位に基づいたビデオ符号化過程及びビデオ復号化過程は、シングルレイヤビデオに係わるビデオ符号化過程及びビデオ復号化過程であるので、インター予測及び動き補償について詳細に説明する。しかし、図1Aないし図7Dを参照して説明したように、ビデオストリーム符号化/復号化のために、基本視点映像と第2レイヤ映像とのインターレイヤ予測及び補償が行われる。
従って、多様な実施形態によるインターレイヤビデオ符号化装置10の符号化部12が、ツリー構造の符号化単位に基づいて、マルチレイヤビデオを符号化するためには、それぞれのシングルレイヤビデオごとにビデオ符号化を行うために、図8のビデオ符号化装置100を、マルチレイヤビデオのレイヤ数ほど含み、各ビデオ符号化装置100ごとに割り当てられたシングルレイヤビデオの符号化を行うように制御することができる。また、インターレイヤビデオ符号化装置10は、各ビデオ符号化装置100の別個単一視点の符号化結果を利用して、視点間予測を行うことができる。それによって、インターレイヤビデオ符号化装置10の符号化部12は、レイヤ別に符号化結果を収録した基本視点ビデオストリームと、第2レイヤビデオストリームとを生成することができる。
それと類似して、多様な実施形態によるインターレイヤビデオ復号化装置20の復号化部26、がツリー構造の符号化単位に基づいて、マルチレイヤビデオを復号化するためには、受信した第1レイヤビデオストリーム及び第2レイヤビデオストリームに対して、レイヤ別にビデオ復号化を行うため、に図9のビデオ復号化装置200を、マルチレイヤビデオのレイヤ数ほど含み、各ビデオ復号化装置200ごとに割り当てられたシングルレイヤビデオの復号化を行うように制御することができる、そして、インターレイヤビデオ復号化装置20が、各ビデオ復号化装置200の別個シングルレイヤの復号化結果を利用して、インターレイヤ補償を行うことができる。それによって、インターレイヤビデオ復号化装置20の復号化部26は、レイヤ別に復元された第1レイヤ映像と第2レイヤ映像とを生成することができる。
図8は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置100のブロック図である。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、符号化単位決定部120及び出力部130を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置100は、「ビデオ符号化装置100」と縮約して指称する。
符号化単位決定部120は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも1つの最大符号化単位に分割される。多様な実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256などのデータ単位であり、縦横サイズが2の累乗である正方形のデータ単位でもある。
多様な実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。多様な実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域(spatial domain)の映像データは、深度によって階層的に分類される。
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズが事前に設定されている。
符号化単位決定部120は、深度ごとに最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部120は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して最終深度と決定する。決定された最終深度及び最大符号化単位別映像データは、出力部130に出力される。
最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも1つの最終深度が決定される。
最大符号化単位の大きさは深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、1つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって最終深度が異なって決定される。従って、1つの最大符号化単位に対して、最終深度が1以上設定され、最大符号化単位のデータは、1以上の最終深度の符号化単位によって区画される。
従って、多様な実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。多様な実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、最終深度に決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる最終深度は、他の領域に係わる最終深度と独立して決定される。
多様な実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。多様な実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。多様な実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度は、1に設定され、2回分割された符号化単位の深度は、2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、第1最大深度は、4に設定され、第2最大深度は、5に設定される。
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも1つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。
多様な実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一データ単位が使用され、段階別にデータ単位が変更されもする。
例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
最大符号化単位の予測符号化のためには、多様な実施形態による最終深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になる、それ以上分割されない符号化単位を「予測単位」と指称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
例えば、サイズ2Nx2N(ただし、Nは正の整数)の符号化単位がそれ以上分割されない場合、サイズ2Nx2Nの予測単位になり、パーティションの大きさは、2Nx2N、2NxN、Nx2N、NxNなどでもある。多様な実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、1:nまたはn:1のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインタモードは、2Nx2N,2NxN,Nx2N,NxNサイズのパーティションに対して遂行される。また、スキップモードは、2Nx2Nサイズのパーティションに対してのみ遂行される。符号化単位以内の1つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
また、多様な実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データ変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じである大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインタモードのための変換単位を含んでもよい。
多様な実施形態による、ツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。
多様な実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが2Nx2Nであるならば、変換深度0に設定され、変換単位の大きさがNxNであるならば、変換深度1に設定され、変換単位の大きさがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
深度別分割情報は、深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部120は、最小符号化誤差を発生させた深度だけではなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
多様な実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位/パーティション、及び変換単位の決定方式については、図17ないし図19を参照して詳細に説明する。
符号化単位決定部120は、深度別符号化単位の符号化誤差をラグランジュ乗数(Lagrangian multiplier)基盤の率歪曲最適化技法(rate-distortion optimization)を利用して測定することができる。
出力部130は、符号化単位決定部120で決定された少なくとも1つの深度に基づいて符号化された最大符号化単位の映像データ及び深度別分割情報を、ビットストリーム形態で出力する。
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。
最終深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
現在深度が深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が1以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに再帰的(recursive)符号化が行われる。
1つの最大符号化単位内で、ツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも1つの分割情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データについて深度及び分割情報が設定される。
従って、多様な実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該深度及び符号化モードに係わる符号化情報を割り当てられる。
多様な実施形態による最小単位は、最下位深度である最小符号化単位が4分割された大きさの正方形のデータ単位である。多様な実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれもする最大サイズの正方形データ単位でもある。
例えば、出力部130を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インタモードの推定方向に係わる情報、インタモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
ピクチャ別、スライス別またはGOP別に定義される符号化単位の最大サイズに係わる情報及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセット(SPS)またはピクチャパラメータセット(PPS)などに挿入される。
また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部130は、予測と係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。
ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが2Nx2Nであるならば、下位深度の符号化単位の大きさは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を最大4個含んでもよい。
従って、ビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存メクロブロック単位で符号化するならば、ピクチャ当たりメクロブロックの数が過度に多くなる。それによって、メクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、多様な実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。
図1Aを参照して説明したインターレイヤビデオ符号化装置10は、マルチレイヤビデオのレイヤごとに、シングルレイヤ映像の符号化のために、レイヤ数ほどのビデオ符号化装置100らを含んでもよい。例えば、第1レイヤ符号化部12が1つのビデオ符号化装置100を含み、第2レイヤ符号化部16が第2レイヤの数ほどのビデオ符号化装置100を含んでもよい。
ビデオ符号化装置100が第1レイヤ映像を符号化する場合、符号化単位決定部120は、最大符号化単位ごとに、ツリー構造による符号化単位別に、映像間予測のための予測単位を決定し、予測単位ごとに映像間予測を行うことができる。
ビデオ符号化装置100が第2レイヤ映像を符号化する場合にも、符号化単位決定部120は、最大符号化単位ごとに、ツリー構造による符号化単位及び予測単位を決定し、予測単位ごとにインター予測を行うことができる。
ビデオ符号化装置100は、第1レイヤ映像と第2レイヤ映像との輝度差を補償するために、輝度差を符号化することができる。ただし、符号化単位の符号化モードによって輝度遂行いかんが決定される。例えば、サイズ2Nx2Nの予測単位に対してのみ輝度補償が行われる。
図9は、多様な実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置200のブロック図である。
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、受信部210、映像データ及び符号化情報抽出部220及び映像データ復号化部230を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置200は、「ビデオ復号化装置200」と縮約して指称する。
多様な実施形態によるビデオ復号化装置200の復号化動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図8及びビデオ符号化装置100を参照して説明したところと同一である。
受信部210は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に対する最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部230が、最大符号化単位ごとに映像データを復号化する。
最大符号化単位別深度及び分割情報は、1以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報及び変換単位の分割情報などを含んでもよい。また、深度情報として、深度別分割情報が抽出されもする。
映像データ及び符号化情報抽出部220が抽出した最大符号化単位別深度及び分割情報は、多様な実施形態によるビデオ符号化装置100のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された深度及び分割情報である。従って、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。
多様な実施形態による、深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部220は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているならば、同一深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位に類推される。
映像データ復号化部230は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位においてそれぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、並びに逆変換過程を含んでもよい。
映像データ復号化部230は、深度別符号化単位の予測単位のパーティションモード情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
映像データ復号化部230は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が、現在深度においてそれ以上分割されないということを示しているならば、現在深度である。従って、映像データ復号化部230は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位サイズ情報を利用して復号化することができる。
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部230によって、同一符号化モードで復号化する1つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
図2Aを参照して説明したインターレイヤビデオ復号化装置20は、受信された第1レイヤ映像ストリーム及び第2レイヤ映像ストリームを復号化して第1レイヤ映像及び第2レイヤ映像を復元するために、ビデオ復号化装置200を視点個数ほど含んでもよい。
第1レイヤ映像ストリームが受信された場合には、ビデオ復号化装置200の映像データ復号化部230は、抽出部220によって、第1レイヤ映像ストリームから抽出された第1レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部230は、第1レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第1レイヤ映像を復元することができる。
第2レイヤ映像ストリームが受信された場合には、ビデオ復号化装置200の映像データ復号化部230は、抽出部220によって、第2レイヤ映像ストリームから抽出された第2レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部230は、第2レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第2レイヤ映像を復元することができる。
抽出部220は、第1レイヤ映像と第2レイヤ映像との輝度差を補償するために、輝度誤差と係わる情報を、ビットストリームから獲得することができる。ただし、符号化単位の符号化モードによって輝度遂行いかんが決定される。例えば、サイズ2Nx2Nの予測単位に対してのみ輝度補償が行われる。
結局、ビデオ復号化装置200は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位で決定されたツリー構造による符号化単位が符号化された映像データの復号化が可能になる。
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって効、率的に映像データを復号化して復元することができる。
図10は、多様な実施形態による符号化単位の概念を図示している。
符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、サイズ32x32,16x16,8x8を含んでもよい。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32のパーティションに分割され、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16のパーティションに分割され、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8のパーティションに分割され、サイズ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4のパーティションに分割される。
ビデオデータ310については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が2に設定されている。ビデオデータ320については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が3に設定されている。ビデオデータ330については、解像度が352x288、符号化単位の最大サイズが16、最大深度が1に設定されている。図10に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示している。
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べ、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。
ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32,16である符号化単位まで含んでもよい。一方、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含んでもよい。
ビデオデータ320の最大深度が3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32,16,8である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
図11は、多様な実施形態による、符号化単位に基づいた映像符号化部400のブロック図である。
多様な実施形態による映像符号化部400は、ビデオ符号化装置100のピクチャ符号化部120において、映像データを符号化するのに経る作業を遂行する。すなわち、イントラ予測部420は、現在映像405のうちイントラモードの符号化単位に対して予測単位別にイントラ予測を行い、インター予測部415は、インタモードの符号化単位に対して、予測単位別に、現在映像405及び復元ピクチャバッファ410で獲得された参照映像を利用して、インター予測を行う。現在映像405は、最大符号化単位に分割された後、順次にエンコーディングが行われる。このとき、最大符号化単位がツリー構造に分割される符号化単位に対してエンコーディングが行われる。
イントラ予測部420またはインター予測部415から出力された各モードの符号化単位に対する予測データを、現在映像405のエンコーディングされる符号化単位に対するデータから差し引くことにより、レジデュデータを生成し、レジデュデータは、変換部425及び量子化部430を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部445、逆変換部450を介して、空間領域のレジデュデータに復元される。復元された空間領域のレジデュデータは、イントラ予測部420またはインター予測部415から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像405の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部455及びSAO(sample adaptive offset)遂行部460を経て、復元映像に生成される。生成された復元映像は、復元ピクチャバッファ410に保存される。復元ピクチャバッファ410に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部425及び量子化部430で量子化された変換係数は、エントロピー符号化部435を経て、ビットストリーム440として出力される。
多様な実施形態による映像符号化部400が、ビデオ符号化装置100に適用されるために、映像符号化部400の構成要素である、インター予測部415、イントラ予測部420、変換部425、量子化部430、エントロピー符号化部435、逆量子化部445、逆変換部450、デブロッキング部455及びSAO遂行部460が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行することができる。
特に、イントラ予測部420及びインター予測部415は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部425は、ツリー構造による符号化単位のうち、それぞれの符号化単位内のクワッドツリーによる変換単位の分割いかんを決定することができる。
図12は、多様な実施形態による、符号化単位に基づいた映像復号化部500のブロック図である。
エントロピー復号化部515は、ビットストリーム505から、復号化対象である符号化された映像データ、及び復号化のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部520及び逆変換部525は、量子化された変換係数からレジデュデータを復元する。
イントラ予測部540は、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行う。インター予測部535は、現在映像のうち、インタモードの符号化単位に対して、予測単位別に復元ピクチャバッファ530で獲得された参照映像を利用してインター予測を行う。
イントラ予測部540またはインター予測部535を経た各モードの符号化単位に係わる予測データと、レジデュデータとが加えられることにより、現在映像405の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部545及びSAO遂行部550を経て、復元映像560として出力される。また、復元ピクチャバッファ530に保存された復元映像は、参照映像として出力される。
ビデオ復号化装置200のピクチャ復号化部230において映像データを復号化するために、多様な実施形態による映像復号化部500のエントロピー復号化部515以後の段階別作業が遂行される。
映像復号化部500が、多様な実施形態によるビデオ復号化装置200に適用されるために、映像復号化部500の構成要素である、エントロピー復号化部515、逆量子化部520、逆変換部525、イントラ予測部540、インター予測部535、デブロッキング部545及びSAO遂行部550が、最大符号化単位ごとにツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて作業を遂行することができる。
特に、イントラ予測部540及びインター予測部535は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部525は、符号化単位ごとに、クォドツリー構造による変換単位の分割いかんを決定することができる。
図11の符号化動作及び図12の復号化動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号化動作について説明したものである。従って、図1Aの符号化部12が2以上のレイヤのビデオストリームを符号化するならば、レイヤ別に、映像符号化部400を含んでもよい。類似して、図2Aの復号化部26が2以上のレイヤのビデオストリームを復号化するならば、レイヤ別に、映像復号化部500を含んでもよい。
図13は、多様な実施形態による、深度別符号化単位及びパーティションを図示している。
多様な実施形態によるビデオ符号化装置100、及び多様な実施形態によるビデオ復号化装置200は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定されもし、ユーザの要求によって多様に設定されもする。事前に設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
多様な実施形態による符号化単位の階層構造600は、符号化単位の最大高及び最大幅が64であり、最大深度が3である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示している。多様な実施形態による符号化単位の階層構造600の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
すなわち、符号化単位610は、符号化単位の階層構造600において、最大符号化単位であって深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640が存在する。サイズ8x8である深度3の符号化単位640は、最小符号化単位である。
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616に分割される。
同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624、サイズ16x16のパーティション626に分割される。
同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636に分割される。
同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。
多様な実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど深度別符号化単位の個数も増加する。例えば、深度1の符号化単位一つを含むデータに対して、深度2の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、1つの深度1の符号化単位、及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。
それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位610において最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の深度及びパーティションモードに選択される。
図14は、多様な実施形態による、符号化単位及び変換単位の関係を図示している。
多様な実施形態によるビデオ符号化装置100、または多様な実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じである大きさの符号化単位で映像を符号化するか復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
例えば、多様な実施形態によるビデオ符号化装置100、または多様な実施形態によるビデオ復号化装置200において、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して変換が行われる。
また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
図15は、多様な実施形態による符号化情報を図示している。
多様な実施形態によるビデオ符号化装置100の出力部130は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を符号化して伝送する。
パーティションモードに係わる情報800は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示している。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、サイズNxNのパーティション808のうちいずれか1つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードに係わる情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806及びサイズNxNのパーティション808のうち一つを示すように設定される。
予測モードに係わる情報810は、それぞれのパーティションの予測モードを示している。例えば、予測モードに係わる情報810を介して、パーティションモードに係わる情報800が示すパーティションが、イントラモード812、インタモード814及びスキップモード816のうち一つで予測符号化が行われるということが設定される。
また、変換単位サイズに係わる情報820は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示している。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2インター変換単位サイズ828のうち一つである。
多様な実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとに、パーティションモードに係わる情報800、予測モードに係わる情報810、変換単位サイズに係わる情報820を抽出して復号化に利用することができる。
図16は、多様な実施形態による深度別符号化単位を図示している。
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示している。
深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションモード912、2N_0xN_0サイズのパーティションモード914、N_0x2N_0サイズのパーティションモード916、N_0xN_0サイズのパーティションモード918を含んでもよい。予測単位が対称的な比率に分割されたパーティション912,914,916,918のみが例示されているが、前述のように、パーティションモードは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
パーティションモードごとに、1つの2N_0x2N_0サイズのパーティションごと、2つの2N_0xN_0サイズのパーティションごと、2つのN_0x2N_0サイズのパーティションごと、4つのN_0xN_0サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0のパーティションについては、イントラモード及びインタモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。
サイズ2N_0x2N_0,2N_0xN_0及びN_0x2N_0のパーティションモード912,914,916のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要はない。
サイズN_0xN_0のパーティションモード918による符号化誤差が最小であるならば、深度0を1に変更しながら分割し(920)、深度2及びサイズN_0xN_0のパーティションモードの符号化単位930に対して反復して符号化を行い、最小符号化誤差を検索していく。
深度1及びサイズ2N_1x2N_1(=N_0xN_0)の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションモード942、サイズ2N_1xN_1のパーティションモード944、サイズN_1x2N_1のパーティションモード946、サイズN_1xN_1のパーティションモード948を含んでもよい。
また、サイズN_1xN_1のパーティションモード948による符号化誤差が最小であるならば、深度1を深度2に変更しながら分割し(950)、深度2及びサイズN_2xN_2の符号化単位960に対して反復して符号化を行い、最小符号化誤差を検索していく。
最大深度がdである場合、深度別符号化単位は、深度d−1になるまで設定され、分割情報は、深度d−2まで設定される。すなわち、深度d−2から分割され(970)、深度d−1まで符号化が行われる場合、深度d−1及びサイズ2N_(d−1)x2N_(d−1)の符号化単位980の予測符号化のための予測単位990は、サイズ2N_(d−1)x2N_(d−1)のパーティションモード992、サイズ2N_(d−1)xN_(d−1)のパーティションモード994、サイズN_(d−1)x2N_(d−1)のパーティションモード996、サイズN_(d−1)xN_(d−1)のパーティションモード998を含んでもよい。
パーティションモードにおいて、1つのサイズ2N_(d−1)x2N_(d−1)のパーティションごと、2つのサイズ2N_(d−1)xN_(d−1)のパーティションごと、2つのサイズN_(d−1)x2N_(d−1)のパーティションごと、4つのサイズN_(d−1)xN_(d−1)のパーティションごとに反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。
サイズN_(d−1)xN_(d−1)のパーティションモード998による符号化誤差が最小であるとしても、最大深度がdであるので、深度d−1の符号化単位CU_(d−1)は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に対する深度が深度d−1と決定され、パーティションモードは、N_(d−1)xN_(d−1)と決定される。また、最大深度がdであるので、深度d−1の符号化単位980について、分割情報は設定されない。
データ単位999は、現在最大符号化単位に係わる「最小単位」とされる。多様な実施形態による最小単位は、最下位深度である最小符号化単位が4分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、多様な実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小符号化誤差が発生する深度を選択し、深度を決定し、当該パーティションモード及び予測モードが深度の符号化モードに設定される。
かように、深度0、1、…、d−1、dの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて深度で決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度0から深度に至るまで符号化単位が分割されなければならないので、深度の分割情報だけが「0」に設定され、深度を除いた深度別分割情報は、「1」に設定されなければならない。
多様な実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に係わる深度、及び予測単位に係わる情報を抽出し、符号化単位912を復号化するのに利用することができる。多様な実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が「0」である深度を深度として把握し、当該深度に係わる分割情報を利用して、復号化に利用することができる。
図17、図18及び図19は、多様な実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
符号化単位1010は、最大符号化単位について、多様な実施形態によるビデオ符号化装置100が決定した深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの深度別符号化単位の変換単位である。
深度別符号化単位1010は、最大符号化単位の深度が0であるとすれば、符号化単位1012,1054は、深度が1であり、符号化単位1014,1016,1018,1028,1050,1052は、深度が2であり、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3であり、符号化単位1040,1042,1044,1046は、深度が4である。
予測単位1060のうち一部パーティション1014,1016,1022,1032,1048,1050,1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションモードであり、パーティション1016,1048,1052は、Nx2Nのパーティションモード、パーティション1032は、NxNのパーティションモードである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じです。
変換単位1070のうち一部の変換単位1052の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060における当該予測単位及びパ−ティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、多様な実施形態によるビデオ符号化装置100、及び一実施形態に他のビデオ復号化装置200は、同一符号化単位に係わるイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表9は、多様な実施形態によるビデオ符号化装置100、及び多様な実施形態によるビデオ復号化装置200において設定することができる一例を示している。
多様な実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に係わる符号化情報を出力し、多様な実施形態によるビデオ復号化装置200の符号化情報抽出部220は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示している。現在深度dの分割情報が0であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに独立して符号化が行われなければならない。
予測モードは、イントラモード、インタモード及びスキップモードのうち一つで示すことができる。イントラモード及びインタモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード2Nx2Nでのみ定義される。
パーティションモード情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションモード2Nx2N,2NxN,Nx2N及びNxNと、非対称的な比率に分割された非対称的パーティションモード2NxnU,2NxnD,nLx2N,nRx2Nを示すことができる。非対称的パーティションモード2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションモードnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示している。
変換単位サイズは、イントラモードにおいて2種の大きさ、インタモードにおいて2種の大きさに設定される。すなわち、変換単位分割情報が0であるならば、変換単位の大きさが、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションモードが対称形パーティションモードであるならば、変換単位の大きさは、NxNに設定され、非対称形パーティションモードであるならば、N/2xN/2に設定される。
多様な実施形態によるツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を1以上含んでもよい。
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
図20は、表1の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。
最大符号化単位1300は、深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。そのうち1つの符号化単位1318は、深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションモード情報は、パーティションモード2Nx2N 1322,2NxN 1324,Nx2N 1326,NxN 1328,2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定される。
変換単位分割情報(TU size flag)は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。
例えば、パーティションモード情報が、対称形パーティションモード2Nx2N 1322,2NxN 1324,Nx2N 1326及びNxN 1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。
パーティションモード情報が非対称形パーティションモード2NxnU 1332,2NxnD 1334,nLx2N 1336及びnRx2N 1338のうち一つに設定された場合、変換単位分割情報(TU size flag)が0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。
図20を参照して説明した変換単位分割情報(TU size flag)は、0または1の値を有するフラグであるが、多様な実施形態による変換単位分割情報は、1ビットのフラグに限定されるものではなく、設定によって、0、1、2、3、…などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。
その場合、多様な実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小大きさと共に利用すれば、実際に利用された変換単位の大きさが表現される。多様な実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPSに挿入される。多様な実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
例えば、(a)現在符号化単位がサイズ64x64であり、最大変換単位サイズが32x32であるならば、(a−1)変換単位分割情報が0であるとき、変換単位の大きさは、32x32に設定され、(a−2)変換単位分割情報が1であるとき、変換単位の大きさは、16x16に設定され、(a−3)変換単位分割情報が2であるとき、変換単位の大きさは、8x8に設定される。
他の例として、(b)現在符号化単位がサイズ32x32であり、最小変換単位サイズが32x32であるならば、(b−1)変換単位分割情報が0であるとき、変換単位の大きさは、32x32に設定され、変換単位の大きさは、32x32より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
さらに他の例として、(c)現在符号化単位がサイズ64x64であり、最大変換単位分割情報が1であるならば、変換単位分割情報は、0または1であり、他の変換単位分割情報が設定されることがない。
従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が0である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、以下の数式(1)のように定義される。
CurrMinTuSize
=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex)) (1)
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式(1)によれば、「RootTuSize/(2^MaxTransformSizeIndex)」は、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」である。
多様な実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なる。
例えば、現在予測モードがインタモードであるならば、「RootTuSize」は、以下の数式(2)によって決定される。数式(2)で、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示している。
RootTuSize=min(MaxTransformSize,PUSize) (2)
すなわち、現在予測モードがインタモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、以下の数式(3)によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示している。
RootTuSize=min(MaxTransformSize,PartitionSize) (3)
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が0である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
ただし、パーティション単位の予測モードによって変動する多様な実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないことに留意しなければならない。
図8ないし図20を参照して説明した、ツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムによって作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体(例えば、ROM(read only memory)、フロッピー(登録商標)ディスク、ハードディスクなど)、光学的判読媒体(例えば、CD(compact disc)−ROM、DVD(digital versatile disc)など)のような記録媒体を含む。
説明の便宜のために、先の図1Aないし図20を参照して説明したインターレイヤビデオ符号化方法及び/またはビデオ符号化方法は、「本発明のビデオ符号化方法」とする。また、先の図1Aないし図20を参照して説明したインターレイヤビデオ復号化方法及び/またはビデオ復号化方法は、「本発明のビデオ復号化方法」とする
また、先の図1Aないし図20を参照して説明したインターレイヤビデオ符号化装置10、ビデオ符号化装置100、または映像符号化部400で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」とする。また、先の図1Aないし図20を参照して説明したインターレイヤビデオ復号化装置20、ビデオ復号化装置200、または映像復号化部500で構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」とする。
多様な実施形態による、プログラムが保存されるコンピュータで判読可能な記録媒体がディスク26000である実施形態について以下で詳細に説明する。
図21は、多様な実施形態による、プログラムが保存されたディスク26000の物理的構造を例示している。記録媒体として説明したディスク26000は、ハードドライブ、CD−ROMディスク、ブルーレイ(登録商標(Blu-ray))ディスク、DVDディスクでもある。ディスク26000は、多数の同心円のトラックTrから構成され、トラックは、円周方向に沿って、所定個数のセクタSeに分割される。前述の多様な実施形態によるプログラムを保存するディスク26000における特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図22を参照して説明する。
図22は、ディスク26000を利用して、プログラムを記録して判読するためのディスクドライブ26800を図示している。コンピュータシステム26700は、ディスクドライブ26800を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムを、ディスク26000に保存することができる。ディスク26000に保存されたプログラムを、コンピュータシステム26700上で実行するために、ディスクドライブ26800によって、ディスク26000からプログラムが判読され、プログラムがコンピュータシステム26700に伝送される。
図21及び図22で例示されたディスク26000だけではなく、メモリカード、ROMカセット、SSD(solid state drive)にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。
図23は、コンテンツ流通サービス(content distribution service)を提供するためのコンテンツ供給システム(content supply system)11000の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局11700,11800,11900,12000が設置される。
コンテンツ供給システム11000は、多数の独立デバイスを含む。例えば、コンピュータ12100、PDA(personal digital assistant)12200、カメラビデオ12300及び携帯電話12500のような独立デバイスが、インターネットサービス・プロバイダ11200、通信網11400及び無線基地局11700,11800,11900,12000を経て、インターネット11100に連結される。
しかし、コンテンツ供給システム11000は、図24に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局11700,11800,11900,12000を経ずみ、通信網11400に直接連結されもする。
ビデオカメラ12300は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話12500は、PDC(personal digital communications)方式、CDMA(code division multiple access)方式、W−CDMA(wideband code division multiple access)方式、GSM(登録商標(global system for mobile communications))方式及びPHS(personal handyphone system)方式のような多様なプロトコルのうち少なくとも1つの通信方式を採択することができる。
ビデオカメラ12300は、無線基地局11900及び通信網11400を経て、ストリーミングサーバ11300に連結される。ストリーミングサーバ11300は、ユーザがビデオカメラ12300を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送する。ビデオカメラ12300から受信されたコンテンツは、ビデオカメラ12300またはストリーミングサーバ11300によって符号化される。ビデオカメラ12300によって撮影されたビデオデータは、コンピュータ12100を経て、ストリーミングサーバ11300に伝送される。
カメラ12600によって撮影されたビデオデータも、コンピュータ12100を経て、ストリーミングサーバ11300に伝送される。カメラ12600は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ12600から受信されたビデオデータは、カメラ12600またはコンピュータ12100によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ12100がアクセスすることができるCD−ROMディスク、フロッピー(登録商標)ディスク、ハードディスクドライブ、SSD、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。
また、携帯電話12500に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話12500から受信される。
ビデオデータは、ビデオカメラ12300、携帯電話12500またはカメラ12600に搭載されたLSI(large scale integrated circuit)システムによって符号化される。
多様な実施形態によるコンテンツ供給システム11000において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ12300、カメラ12600、携帯電話12500または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ11300に伝送される。ストリーミングサーバ11300は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送する。
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ12100、PDA 12200、ビデオカメラ12300または携帯電話12500である。従って、コンテンツ供給システム11000は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム11000は、クライアントをして、符号化されたコンテンツデータを受信し、リアルタイムで復号化して再生させ、個人放送(personal broadcasting)が可能にする。
コンテンツ供給システム11000に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
図24及び図25を参照し、コンテンツ供給システム11000における携帯電話12500の一実施形態について詳細に説明する。
図24は、多様な実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話12500の外部構造を図示している。携帯電話12500は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォンでもある。
携帯電話12500は、無線基地局12000とRF(radio frequency)信号を交換するための内蔵アンテナ12510を含み、カメラ12530によって撮影された映像、またはアンテナ12510によって受信されて復号化された映像をディスプレイするためのLCD(liquid crystal display)画面、OLED(organic light emitting diodes)画面のようなディスプレイ画面12520を含む。スマートフォン12510は、制御ボタン、タッチパネルを含む動作パネル12540を含む。ディスプレイ画面12520がタッチスクリーンである場合、動作パネル12540は、ディスプレイ画面12520のタッチ感知パネルをさらに含む。スマートフォン12510は、音声、音響を出力するためのスピーカ12580、または他の形態の音響出力部と、音声、音響が入力されるマイクロホン12550、または他の形態の音響入力部と、を含む。スマートフォン12510は、ビデオ及び静止映像を撮影するためのCCD(charge coupled device)カメラのようなカメラ12530をさらに含む。また、スマートフォン12510は、カメラ12530によって撮影されるか、電子メール(E−mail)に受信されるか、他の形態によって獲得されたビデオや静止映像のように、符号化されるか復号化されたデータを保存するための記録媒体12570;及び記録媒体12570を携帯電話12500に装着するためのスロット12560;を含んでもよい。記録媒体12570は、SDカード、またはプラスチックケースに内蔵されたEEPROM(electrically erasable and programmable read only memory)のような他の形態のフラッシュメモリでもある。
図25は、携帯電話12500の内部構造を図示している。ディスプレイ画面12520及び動作パネル12540で構成された携帯電話12500の各パートを組織的に制御するために、電力供給回路12700、動作入力制御部12640、映像符号化部12720、カメラ・インターフェース12630、LCD制御部12620、映像復号化部12690、マルチプレクサ/デマルチプレクサ(MUX/DEMUX:multiplexer/demultiplexer)12680、記録/判読部12670、変調/復調(modulation/demodulation)部12660及び音響処理部12650が、同期化バス12730を介して中央制御部12710に連結される。
ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路12700は、バッテリパックから携帯電話12500の各パートに電力を供給することにより、携帯電話12500が動作モードにセッティングされる。
中央制御部12710は、CPU、ROM及びRAM(random access memory)を含む。
携帯電話12500が外部に信データを送信する過程においては、中央制御部12710の制御によって、携帯電話12500でデジタル信号が生成される、例えば、音響処理部12650では、デジタル音響信号が生成され、映像符号化部12720では、デジタル映像信号が生成され、動作パネル12540及び動作入力制御部12640を介して、メッセージのテキストデータが生成される。中央制御部12710の制御によって、デジタル信号が変調/復調部12660に伝達されれば、変調/復調部12660は、デジタル信号の周波数帯域を変調し、通信回路12610は、帯域変調されたデジタル音響信号に対して、D/A変換(digital-analog conversion)処理及び周波数変換(frequency conversion)処理を行う。通信回路12610から出力された送信信号は、アンテナ12510を介して、音声通信基地局または無線基地局12000に送出される。
例えば、携帯電話12500が通話モードであるとき、マイクロフォン12550によって獲得された音響信号は、中央制御部12710の制御によって、音響処理部12650においてデジタル音響信号に変換される。生成されたデジタル音響信号は、変調/復調部12660及び通信回路12610を経て、送信信号に変換され、アンテナ12510を介して送出される。
データ通信モードにおいて、電子メールのようなテキストメッセージが伝送される場合、動作パネル12540を利用して、メッセージのテキストデータが入力され、テキストデータが動作入力制御部12640を介して、中央制御部12610に伝送される。中央制御部12610の制御によって、テキストデータは、変調/復調部12660及び通信回路12610を介して送信信号に変換され、アンテナ12510を介して、無線基地局12000に送出される。
データ通信モードで映像データを伝送するために、カメラ12530によって撮影された映像データが、カメラ・インターフェース12630を介して映像符号化部12720に提供される。カメラ12530によって撮影された映像データは、カメラ・インターフェース12630及びLCD制御部12620を介して、ディスプレイ画面12520に直ちにディスプレイされる。
映像符号化部12720の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部12720は、カメラ12530から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化/逆多重化部12680に出力することができる。カメラ12530の録画中に、携帯電話12500のマイクロフォン12550によって獲得された音響信号も、音響処理部12650を経て、デジタル音響データに変換され、デジタル音響データは、多重化/逆多重化部12680に伝達される。
多重化/逆多重化部12680は、音響処理部12650から提供された音響データと共に、映像符号化部12720から提供された符号化された映像データを多重化する。多重化されたデータは、変調/復調部12660及び通信回路12610を介して、送信信号に変換され、アンテナ12510を介して送出される。
携帯電話12500が、外部から通信データを受信する過程では、アンテナ12510を介して受信された信号を、周波数復元(frequencyre covery)処理及びA/D変換(analog-digital conversion)処理を介して、デジタル信号を変換する。変調/復調部12660は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部12690、音響処理部12650またはLCD制御部12620に伝達される。
携帯電話12500は、通話モードであるとき、アンテナ12510を介して受信された信号を増幅し、周波数変換処理及びA/D変換(analog-digital conversion)処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部12710の制御によって、変調/復調部12660及び音響処理部12650を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ12580を介して出力される。
データ通信モードにおいて、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ12510を介して、無線基地局12000から受信された信号は、変調/復調部12660の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化/逆多重化部12680に伝達される。
アンテナ12510を介して受信した多重化されたデータを復号化するために、多重化/逆多重化部12680は、多重化されたデータを逆多重化して符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス12730によって、符号化されたビデオデータストリームは、ビデオ復号化部12690に提供され、符号化されたオーディオデータストリームは、音響処理部12650に提供される。
映像復号化部12690の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部12690は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化して復元されたビデオデータを生成し、復元されたビデオデータを、LCD制御部12620を経て、ディスプレイ画面1252に復元されたビデオデータとして提供することができる。
それによって、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面12520でディスプレイされる。それと同時に、音響処理部12650も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ12580に提供することができる。それによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ12580で再生される。
携帯電話12500、または他の形態の通信端末機は、本発明の、ビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。
本発明の通信システムは、図24を参照して説明した構造に限定されるものではない。例えば、図26は、多様な実施形態による通信システムが適用されたデジタル放送システムを図示している。図26の多様な実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
具体的に見れば、放送局12890は、電波を介して、ビデオデータストリームを通信衛星または放送衛星12900に伝送する。放送衛星12900は、放送信号を伝送し、放送信号は、家庭にあるアンテナ12860によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、TV(television)受信機12810、セットトップボックス(set-top box)12870または他のデバイスによって復号化されて再生される。
再生装置12830において、本発明のビデオ復号化装置が具現されることにより、再生装置12830が、ディスク及びメモリカードのような記録媒体12820に記録された符号化されたビデオストリームを判読して復号化することができる。それによって、復元されたビデオ信号は、例えば、モニタ12840で再生される。
衛星/地上波放送のためのアンテナ12860、またはケーブルTV受信のためのケーブルアンテナ12850に連結されたセットトップボックス12870にも、本発明のビデオ復号化装置が搭載される。セットトップボックス12870の出力データも、TVモニタ12880で再生される。
他の例として、セットトップボックス12870の代わりに、TV受信機12810自体に、本発明のビデオ復号化装置が搭載されもする。
適切なアンテナ12910を具備した自動車12920が、衛星12800または無線基地局11700から送出される信号を受信することもできる。自動車12920に搭載された自動車ナビゲーションシステム12930のディスプレイ画面に、復号化されたビデオが再生される。
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に見れば、DVDレコーダによって、映像信号がDVDディスク12960に保存されるか、ハードディスクレコーダ12950によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、SDカード12970に保存されもする。ハードディスクレコーダ12950が、多様な実施形態による本発明のビデオ復号化装置を具備すれば、DVDディスク12960、SDカード12970、または他の形態の記録媒体に記録されたビデオ信号がモニタ12880で再生される。
自動車ナビゲーションシステム12930は、図23のカメラ12530、カメラ・インターフェース12630及び映像符号化部12720を含まないこともある。例えば、コンピュータ12100及びTV受信機12810も、図23のカメラ12530、カメラ・インターフェース12630及び映像符号化部12720を含まないこともある。
図27は、多様な実施形態による、ビデオ符号化装置、及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。
本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ14100、ユーザDB(database)14100、コンピューディング資源14200及びユーザ端末機を含んでなる。
クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューディング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション(application)、ストレージ(storage)、運用体制(OS)、保安(security)などのコンピューディング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望する時点で、所望するほど選んで使用することができる。
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ14100に接続する。ユーザ端末機は、クラウドコンピューティングサーバ14100から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップPC(personal computer)14300、スマートTV 14400、スマートフォン14500、ノート型パソコン14600、PMP(portable multimedia player)14700、テブレットPC 14800など、インターネット接続が可能な全ての電子機器にもなる。
クラウドコンピューティングサーバ14100は、クラウド網に分散されている多数のコンピューディング資源14200を統合し、ユーザ端末機に提供することができる。多数のコンピューディング資源14200は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピューティングサーバ14100は、さまざまなところに分散されている動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザDB 14100には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報と、住所、名前など個人信用情報とを含んでもよい。また、ユーザ情報は、動画のインデックス(index)を含んでもよい。ここで、インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。
ユーザDB 14100に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン14600から再生要請され、ノート型パソコン14600に所定動画サービスを提供した場合、ユーザDB 14100に、所定動画サービスの再生ヒストリーが保存される。スマートフォン14500から同一動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ14100は、ユーザDB 14100を参照し、所定動画サービスを探し出して再生する。スマートフォン14500がクラウドコンピューティングサーバ14100を介して動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先の図24を参照して説明した携帯電話12500の動作と類似している。
クラウドコンピューティングサーバ14100は、ユーザDB 14100に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ14100は、ユーザ端末機から、ユーザDB 14100に保存された動画に対する再生要請を受信する。動画がその前に再生中であったならば、クラウドコンピューティングサーバ14100は、ユーザ端末機への選択によって、最初から再生するか、以前の停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が最初から再生するように要請した場合には、クラウドコンピューティングサーバ14100は、ユーザ端末機に、当該動画を、最初のフレームからストリーミング伝送する。一方、端末機が、以前の停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ14100は、ユーザ端末機に、当該動画を、停止時点のフレームからストリーミング伝送する。
このとき、ユーザ端末機は、図1Aないし図20を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図1Aないし図20を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図1Aないし図20を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
図1Aないし図20を参照して説明したビデオ符号化方法及びビデオ復号化方法、ビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図21ないし図27で説明した。しかし、図1Aないし図20を参照して説明したビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、ビデオ符号化装置及びビデオ復号化装置がデバイスで具現されたりする多様な実施形態は、図21ないし図27の実施形態に限定されるものではない。
以上で開示された多様な実施形態が属する技術分野で当業者であるならば、本明細書で開示された実施形態の本質的な特性からはずれない範囲で変形された形態によって具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の開示範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本明細書の開示範囲に含まれたものであると解釈されなければならないであろう。