JP2014534729A - インター予測方法及びその装置、動き補償方法及びその装置 - Google Patents

Abstract

本発明は、インター予測方法及び動き補償方法に関する。本発明は、復号ピクチャーバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ；ＤＰＢ）に保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行い、インター予測によって生成される現在映像の残差データ及び動きベクトルを定め、ロング・ターム参照映像のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）情報をＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）情報とＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）情報とに分割し、ロング・ターム参照映像を示すロング・ターム参照インデックスとしてＬＳＢ情報を定めるインター予測方法を開示する。

Description

本発明は、インター予測方法と動き補償方法に関する。

高解像度または高画質のビデオコンテンツを再生、保存できるハードウェアの開発及び普及につれて、高解像度または高画質のビデオコンテンツを効果的に符号化または復号化するビデオコーデックの必要性が増大しつつある。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式に従って符号化されている。

周波数変換を用いて、空間領域の映像データは周波数領域の係数に変換される。ビデオコーデックは、周波数変換の速い演算のために映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ変換を行ってブロック単位の周波数係数を符号化する。空間領域の映像データに比べて周波数領域の係数が圧縮しやすい形態を持つ。特にビデオコーデックのインター予測またはイントラ予測を通じて、空間領域の映像画素値は予測誤差で表現されるため、予測誤差について周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続的に反復して発生するデータを小さなサイズのデータに置換することで、データ量を低減させている。

本発明は、ロング・ターム参照映像を用いるインター予測方法及びその装置、そしてロング・ターム参照映像を用いる動き補償方法及びその装置を提案する。また本発明によって、ロング・ターム参照映像を用いるインター予測及び動き補償を伴うビデオ符号化方法及びその装置、そして、本発明によってロング・ターム参照映像を用いる動き補償を伴うビデオ復号化方法及びその装置を提案する。

本発明によるインター予測方法は、復号ピクチャーバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ；ＤＰＢ）に保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行う段階と、前記インター予測によって生成される前記現在映像の残差データ及び動きベクトルを定める段階と、前記ロング・ターム参照映像のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）情報をＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）情報とＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）情報とに分割し、前記ロング・ターム参照映像を示すロング・ターム参照インデックスとして前記ＬＳＢ情報を定める段階と、を含む。

本発明の動き補償方式によれば、映像のインター予測のために用いられる参照映像のうちロング・ターム参照映像を示す参照インデックスとして、ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を用いる。ロング・ターム参照映像を識別するためにロング・ターム参照映像のみのための別個の映像番号を用いる必要なく、映像のＰＯＣ情報を用いてロング・ターム参照映像を示す。よって、ロング・ターム参照映像のみのための別個の映像番号を保存するための保存空間が節約される。また、ロング・ターム参照映像を示すインデックスの範囲を無限大に拡張できる。

一実施形態によるインター予測装置のブロック図である。 一実施形態によるインター予測方法のフローチャートである。 一実施形態による動き補償装置のブロック図である。 一実施形態による動き補償方法のフローチャートである。 一実施形態によるロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報及びＭＳＢ情報を示す図面である。 一実施形態によるインター予測を行うビデオ符号化装置のブロック図である。 一実施形態による動き補償を行うビデオ復号化装置のブロック図である。 一実施形態によるツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。 一実施形態によってツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を示す図面である。 本発明の一実施形態による深度別符号化情報を示す図面である。 本発明の一実施形態による深度別符号化単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。 一実施形態によるプログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを用いてプログラムを記録及び読み取るためのディスクドライブを示す図面である。 コンテンツ流通サービスを提供するためのコンテンツ供給システムの全体的構造を示す図面である。 一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造及び内部構造を示す図面である。 一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造及び内部構造を示す図面である。 本発明による通信システムが適用されたデジタル放送システムを示す図面である。 本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を用いるクラウドコンピューティングシステムのネットワーク構造を示す図面である。

本発明によるインター予測方法は、復号ピクチャーバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ；ＤＰＢ）に保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行う段階と、前記インター予測によって生成される前記現在映像の残差データ及び動きベクトルを定める段階と、前記ロング・ターム参照映像のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）情報をＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）情報とＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）情報とに分割し、前記ロング・ターム参照映像を示すロング・ターム参照インデックスとして前記ＬＳＢ情報を定める段階と、を含む。

一実施形態による前記ＬＳＢ情報決定段階は、スライスヘッダに、現在スライスのインター予測のために用いられたロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を、前記ロング・ターム参照インデックスとして挿入する段階を含む。

一実施形態による前記ＬＳＢ情報決定段階は、前記現在映像のＰＯＣ情報と前記ロング・ターム参照映像のＰＯＣ情報との差情報をＭＳＢ情報及びＬＳＢ情報で分割して、前記差情報のＬＳＢ情報を前記ロング・ターム参照インデックスとして定める段階を含む。

一実施形態による前記インター予測方法は、前記復号ピクチャーバッファに保存されたショート・ターム参照映像を用いて前記現在映像に対するインター予測を行う段階と、前記ショート・ターム参照映像を示すショート・ターム参照インデックスとして、前記ショート・ターム参照映像のＰＯＣ情報のＬＳＢ情報を定める段階と、を含む。

一実施形態による前記残差データ及び動きベクトル決定段階は、前記現在映像のブロック別に行われたインター予測結果によって、前記ブロック別に前記残差データ及び前記動きベクトルを定める段階を含む。

本発明の一実施形態による動き補償方法は、符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する段階と、前記符号化された映像データを復号化して現在映像の残差データを復元する段階と、前記ロング・ターム参照インデックスから前記現在映像のロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取り、前記ロング・ターム参照映像のＭＳＢ情報及び前記ＬＳＢ情報を用いて前記ＰＯＣ情報を定める段階と、復号ピクチャーバッファに保存された参照映像のうち前記定められたＰＯＣ情報に対応する前記ロング・ターム参照映像に基づいて、前記動きベクトル及び前記残差データを用いた動き補償を行って前記現在映像を復元する段階と、を含む。

一実施形態による前記ＰＯＣ情報決定段階は、前記現在映像のための複数のロング・ターム参照映像のうち、第１ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報から第２ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報を予測する段階と、前記受信されたロング・ターム参照インデックスから読み取られた第２ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報と、前記第２ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報とを合成して、前記第２ロング・ターム参照映像のＰＯＣ情報を復元する段階と、を含む。

一実施形態による前記ＰＯＣ情報決定段階は、前記ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報と前記ＬＳＢ情報とを合成して、前記現在映像のＰＯＣ情報と前記ロング・ターム参照映像のＰＯＣ番号との差情報を復元する段階と、前記現在映像のＰＯＣ情報に前記復元された差情報ほど減算または加算することで前記ロング・ターム参照映像のＰＯＣ番号を定める段階と、を含む。

一実施形態による前記受信段階は、スライスヘッダから、現在スライスの動き補償のためのロング・ターム参照映像を示す前記ロング・ターム参照インデックスをパージングする段階を含む。

一実施形態による前記動き補償方法は、前記現在映像のインター予測のためのショート・ターム参照インデックスを受信する段階と、前記ショート・ターム参照インデックスから、前記現在映像のインター予測のためのショート・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取る段階と、前記読み取られたショート・ターム参照映像のＬＳＢ情報及び、以前ショート・ターム参照映像のＭＳＢ情報を用いて前記ショート・ターム参照映像のＰＯＣ情報を定める段階と、前記復号ピクチャーバッファに保存された参照映像のうち、前記定められたＰＯＣ情報に対応する前記ショート・ターム参照映像を用いて前記現在映像に対する動き補償を行う段階と、をさらに含む。

一実施形態による前記受信段階は、前記現在映像のブロック別に符号化された映像データを受信する段階を含み、前記残差データの復元段階は、前記ブロック別に前記残差データ及び前記動きベクトルを復元する段階を含み、前記現在映像の復元段階は、前記ブロック別に前記残差データ及び前記動きベクトルを用いる動き補償を行うことで前記現在映像を復元する段階を含む。

本発明の一実施形態によるインター予測装置は、復号ピクチャーバッファに保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行うインター予測部と、前記ロング・ターム参照映像のＰＯＣ情報をＭＳＢ情報とＬＳＢ情報とに分割し、前記ロング・ターム参照映像を示すロング・ターム参照インデックスとして前記ＬＳＢ情報を出力し、前記インター予測によって生成される前記現在映像の残差データ及び動きベクトルを出力する出力部と、を備える。

本発明の一実施形態による動き補償装置は、符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する受信部と、前記符号化された映像データを復号化して現在映像の残差データを復元し、前記ロング・ターム参照インデックスから前記現在映像のロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取り、前記ロング・ターム参照映像のＭＳＢ情報及び前記ＬＳＢ情報を用いて前記ＰＯＣ情報を定め、復号ピクチャーバッファに保存された参照映像のうち前記定められたＰＯＣ情報に対応する前記ロング・ターム参照映像に基づいて、前記動きベクトル及び前記残差データを用いた動き補償を行って前記現在映像を復元する動き補償部と、を備える。

本発明は、一実施形態による動き補償方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

本発明の一実施形態によるビデオ符号化装置は、映像のインター予測のための参照映像を保存する復号ピクチャーバッファと、前記復号ピクチャーバッファに保存されたロング・ターム参照映像を用いて、現在映像に対するインター予測を行って残差データを生成するインター予測部と、前記残差データに対して変換及び量子化を行って量子化された変換係数を生成する変換量子化部と、前記ロング・ターム参照映像のＰＯＣ情報をＭＳＢ情報とＬＳＢ情報とに分割し、前記ロング・ターム参照映像を示すロング・ターム参照インデックスとして前記ＬＳＢ情報を定め、前記量子化された変換係数及び動きベクトルを含むシンボルに対してエントロピー符号化を行うエントロピー符号化部と、を備える。

本発明の一実施形態によるビデオ復号化装置は、ビデオストリームを受信し、前記受信されたビデオストリームに対してエントロピー復号化を行って符号化された映像データ、動きベクトル及びロング・ターム参照インデックスをパージングする受信部と、前記符号化された映像データに対して逆量子化及び逆変換を行って残差データを復元する逆量子化逆変換部と、動き補償のための参照映像を保存する復号ピクチャーバッファと、前記符号化された映像データを復号化して現在映像の残差データを復元し、前記ロング・ターム参照インデックスから前記現在映像のロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取り、前記ロング・ターム参照映像のＭＳＢ情報及び前記ＬＳＢ情報を用いて前記ＰＯＣ情報を定め、前記復号ピクチャーバッファに保存された参照映像のうち前記定められたＰＯＣ情報に対応する前記ロング・ターム参照映像に基づいて、前記動きベクトル及び前記残差データを用いた動き補償を行う動き補償部と、前記動き補償を通じて生成された復元映像に対してデブロッキングフィルタリングを行うインループ（ｉｎ−ｌｏｏｐ）フィルタリング部と、を備える。

以下、図１Ａないし図３を参照して、一実施形態によってロング・ターム参照映像を用いるインター予測方法及びインター予測装置と、動き補償方法及び動き補償装置とが開示される。また、図４及び図５を参照して、一実施形態によるインター予測を行うビデオ符号化装置と、動き補償を行うビデオ復号化装置とが開示される。また、図６ないし図１８を参照して、一実施形態によるツリー構造の符号化単位に基づいて、一実施形態によるインター予測を伴うビデオ符号化技法及びビデオ復号化技法が開示される。以下、‘映像’は、ビデオの静止画または動画、すなわち、ビデオそのものを示す。

先ず、図１Ａないし図３を参照して、一実施形態によってロング・ターム参照映像を用いるインター予測方法及びインター予測装置が開示される。また、図４及び図５を参照して一実施形態によるインター予測を伴うビデオ符号化方法及びビデオ復号化方法が開示される。

図１Ａは、一実施形態によるインター予測装置１０のブロック図である。一実施形態によるインター予測装置１０は、インター予測部１２及び出力部１４を備える。

インター予測は、現在映像と他の映像との類似性を用いる。現在映像より先に復元された参照映像のうち、現在映像の現在領域と類似した参照領域が検出される。現在領域と参照領域との間の座標上の距離が動きベクトルで表現され、現在領域と参照領域との間のピクセル値の差が残差データで表現される。したがって、現在領域に対するインター予測によって、現在領域の映像情報を直接出力する代りに、参照映像を示すインデックス、動きベクトル及び残差データが出力される。

一実施形態によるインター予測装置１０は、ビデオのそれぞれの映像のブロック別にインター予測を行える。ブロックのタイプは、正方形または長方形であり、任意の幾何学的形態であってもよい。一定のサイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などである。ツリー構造による符号化単位に基づいたビデオ符復号化方式は、図６ないし図１８を参照して後述する。

現在映像のインター予測のために用いられる参照映像は、現在映像より先に復号化された映像でなければならない。一実施形態によるインター予測のための参照映像は、ショート・ターム参照映像とロング・ターム参照映像とに分類される。復号ピクチャーバッファは、以前映像の動き補償によって生成された復元映像を保存している。先に生成された復元映像は、他の映像のインター予測のための参照映像として用いられる。したがって、復号ピクチャーバッファに保存された復元映像のうち、現在映像のインター予測のための少なくとも一つのショート・ターム参照映像または少なくとも一つのロング・ターム参照映像が選択される。ショート・ターム参照映像は、復号化手順によって現在映像の直前または最近に復号化された映像である一方、ロング・ターム参照映像は、現在映像よりはるかに前に復号化されたが、他の映像のインター予測のための参照映像に使われるために選択されて復号ピクチャーバッファに保存された映像である。

復号ピクチャーバッファに保存された復元映像のうち、ショート・ターム参照映像とロング・ターム参照映像とは互いに区別されて選択される。ロング・ターム参照映像は、複数の映像のインター予測のために参照される映像であり、復号ピクチャーバッファに長期間保存された映像である。一方、現在映像及び次の映像のインター予測がそれぞれ行われつつ毎映像ごとに必要なショート・ターム参照映像は更新されるので、復号ピクチャーバッファにおいてもショート・ターム参照映像は頻繁に更新される。したがって、復号ピクチャーバッファに新たなショート・ターム参照映像が保存される場合、既に保存されていたショート・ターム参照映像のうち最も長く保存された映像から順次に削除される。

一実施形態によるインター予測部１２は、復号ピクチャーバッファに保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行える。

一実施形態による出力部１４は、インター予測部１２のインター予測によって生成される現在映像の残差データ及び動きベクトルを出力する。

一実施形態による出力部１４は、ロング・ターム参照映像を示すロング・ターム参照インデックスとして、ロング・ターム参照映像のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）情報のＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）情報を定める。一実施形態による出力部１４は、ロング・ターム参照映像のＰＯＣ情報をＭＳＢ情報とＬＳＢ情報とに分割し、ＬＳＢ情報のみをロング・ターム参照映像を示すロング・ターム参照インデックスとして出力する。

一実施形態によるインター予測部１２は、スライスごとにロング・ターム参照映像を定める。よって、出力部１４は、スライスヘッダにロング・ターム参照インデックスとして、現在スライスのインター予測のために用いられたロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を挿入する。スライスヘッダに現在スライスのブロックのための参照映像のＰＯＣ情報のＬＳＢ情報が挿入されて伝送される。

ロング・ターム参照映像は、スライスごとに定められ、インター予測は、スライス内のブロック別に行われる。すなわち、一実施形態によるインター予測部１２は、ロング・ターム参照映像を参照して、現在スライスのブロックごとにインター予測を行える。よって、現在スライスのブロック別にロング・ターム参照映像のうち参照ブロックを定め、ブロック別に参照ブロックに対比して動きベクトル及び残差データが定められる。これによって出力部１４は、現在スライスのブロック別に動きベクトル及び残差データを出力する。

他の実施形態による出力部１４は、ロング・ターム参照映像のＰＯＣと現在映像のＰＯＣ情報との差情報をＭＳＢ情報及びＬＳＢ情報に分割し、前記差情報のＬＳＢ情報をロング・ターム参照インデックスとして出力することもできる。

一実施形態によってインター予測部１２が、ショート・ターム参照映像を参照して現在映像に対するインター予測を行う場合がある。この場合に出力部１４は、ショート・ターム参照映像を示すショート・ターム参照インデックスとして、ショート・ターム参照映像のＰＯＣ情報のＭＳＢ情報及びＬＳＢ情報からＬＳＢ情報のみを出力する。

一実施形態によるインター予測装置１０は、インター予測部１２及び出力部１４を総括的に制御する中央プロセッサ（図示せず）を備える。または、インター予測部１２及び出力部１４がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が互いに有機的に作動することでインター予測装置１０が全体的に作動することもある。または、一実施形態によるインター予測装置１０の外部プロセッサ（図示せず）の制御によって、インター予測部１２及び出力部１４が制御されるることもある。

一実施形態によるインター予測装置１０は、インター予測部１２及び出力部１４の入出力データが保存される一つ以上のデータ保存部（図示せず）を備える。インター予測装置１０は、データ保存部（図示せず）のデータ入出力を担当するメモリ制御部（図示せず）を備えてもよい。

図１Ｂは、一実施形態によるインター予測方法のフローチャートである。

段階１３で、インター予測装置１０は、復号ピクチャーバッファに保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行える。段階１５で、インター予測装置１０は、インター予測によって現在映像の残差データ及び動きベクトルを定める。段階１７で、インター予測装置１０は、ロング・ターム参照映像のＰＯＣ情報をＭＳＢ情報とＬＳＢ情報とに分割し、ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報をロング・ターム参照インデックスとして定める。

段階１３、１５、１７を通じて、インター予測装置１０がロング・ターム参照映像を用いて現在映像に対してインター予測を行った結果として、現在映像の残差データ及び動きベクトルを出力し、現在映像のロング・ターム参照映像を示すための情報として、ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を出力する。

図２Ａは、一実施形態による動き補償装置２０のブロック図である。一実施形態による動き補償装置２０は、受信部２２及び動き補償部２４を備える。一実施形態による受信部２２は、符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する。

インター予測の結果、現在映像と参照映像との間の動きベクトル及び残差データが生成される。参照映像、残差データ及び動きベクトルを用いて現在映像を復元する過程が動き補償である。一実施形態による動き補償部２４は、受信部２２を通じて受信した現在映像の残差データ及び動きベクトルを用いて動き補償を行うことで現在映像を復元する。

一実施形態による動き補償部２４は、符号化された映像データを復号化して現在映像の残差データを復元する。符号化された映像データが量子化された変換係数である場合に、動き補償部２４は、符号化された映像データに対して逆量子化及び逆変換を行って現在映像の残差データを復元し、残差データに対して動き補償を行える。

具体的に説明すれば、動き補償部２４は、映像のブロック別に動き補償を行える。ブロックのタイプは、正方形または長方形であり、任意の幾何学的形態であるか、またはツリー構造の符号化単位、予測単位でありうる。図１Ａを参照して前述したように、一定のサイズのデータ単位に制限されるものではない。

これによって受信部２２は、現在映像のブロック別に符号化された映像データを受信し、動き補償部２４は、ブロック別に残差データ及び動きベクトルを復元し、ブロック別に残差データ及び動きベクトルを用いる動き補償を行える。映像内のすべてのブロックに対する動き補償を行うことで現在映像が復元される。

一実施形態による動き補償部２４は、ロング・ターム参照インデックスから現在映像のロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取れる。動き補償部２４は、ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報と、ロング・ターム参照インデックスから読み取られたＬＳＢ情報とを合成してロング・ターム参照映像のＰＯＣ情報を定める。

一実施形態による動き補償部２４は、復号ピクチャーバッファに保存された参照映像から前記定められたロング・ターム参照映像のＰＯＣ情報に対応するロング・ターム参照映像を定める。動き補償部２４は、定められたロング・ターム参照映像に基づいて、動きベクトル及び残差データを用いて現在映像に対する動き補償を行える。動き補償によって現在映像が復元される。

一実施形態による動き補償部２４は、復号ピクチャーバッファに保存された現在映像のための複数のロング・ターム参照映像のうち、第１ロング・ターム参照映像のＭＳＢ情報から第２ロング・ターム参照映像のＭＳＢ情報を予測する。

例えば、動き補償部２４は、第２ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報と、第１ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報とを比較して、第２ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報が既定の第１ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報に比べて増加したか、減少したか、または同一かを定める。これによって、第１ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報から、第２ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報が予測される。動き補償部２４は、受信されたロング・ターム参照インデックスから読み取られた第２ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報と、前記予測された第２ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報とを合成して、第２ロング・ターム参照映像のＰＯＣ情報を復元する。

他の例として、動き補償部２４は、現在映像のためのロング・ターム参照インデックスとして、現在ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報と、現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報とをいずれも受信することもある。この場合に動き補償部２４は、受信されたロング・ターム参照インデックスから読み取られたロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報とＭＳＢ情報とを合成してロング・ターム参照映像のＰＯＣ情報を復元する。

一実施形態による動き補償部２４は、ロング・ターム参照インデックスから現在映像とロング・ターム参照映像のＰＯＣ情報との差情報のＬＳＢ情報を読み取れる。この場合、動き補償部２４は、ＭＳＢ情報とＬＳＢ情報とを合成して現在映像のＰＯＣ情報とロング・ターム参照映像のＰＯＣ番号との差情報を復元する。動き補償部２４は、現在映像のＰＯＣ情報に復元された差情報を減算または加算することでロング・ターム参照映像のＰＯＣ番号を定める。

一実施形態による受信部２２は、スライスヘッダから現在スライスのロング・ターム参照インデックスをパージングする。スライスヘッダから現在スライスのブロックのための参照映像のＰＯＣ情報のＬＳＢ情報がパージングされる。

他の例として、受信部２２は、現在映像のインター予測のためのショート・ターム参照インデックスを受信することもある。ショート・ターム参照インデックスから現在映像のインター予測のためのショート・ターム参照映像のＰＯＣ情報のＬＳＢ情報が読み取られる。動き補償部２４は、読み取られたショート・ターム参照映像のＬＳＢ情報及び以前ショート・ターム参照映像のＭＳＢ情報を用いてショート・ターム参照映像のＰＯＣ情報を定める。動き補償部２４は、復号ピクチャーバッファに保存された参照映像のうち前記定められたＰＯＣ情報に対応するショート・ターム参照映像を用いて、現在映像に対する動き補償を行える。

図２Ｂは、一実施形態による動き補償方法のフローチャートである。段階２１で、動き補償装置２０は、符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する。段階２３で、動き補償装置２０は、符号化された映像データを復号化して現在映像の残差データを復元する。段階２５で、動き補償装置２０は、ロング・ターム参照インデックスから現在映像のロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取り、ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報及びＬＳＢ情報を用いてロング・ターム参照映像のＰＯＣ情報を定める。段階２７で、動き補償装置２０は、復号ピクチャーに保存された参照映像のうち、段階２５で定められたＰＯＣ情報に対応するロング・ターム参照映像に基づいて、動きベクトル及び残差データを用いて動き補償を行うことで現在映像を復元する。

すなわち、動き補償装置２０は、復号ピクチャーバッファに保存された復元映像のから段階２５で定められたＰＯＣ情報に対応するロング・ターム参照映像を選択し、選択されたロング・ターム参照映像のうち動きベクトルが示す参照領域を定める。定められた参照領域に残差データを合成して現在領域を定める動き補償を行える。動き補償装置２０は、現在映像のブロック別に動き補償を行った結果、現在映像を復元する。

図１Ａ及び図１Ｂを参照して前述したインター予測装置１０及び、図２Ａ及び図２Ｂを参照して前述した動き補償装置２０によれば、映像のインター予測のために用いられる参照映像のうちロング・ターム参照映像を示す参照インデックスとして、ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を利用する。ロング・ターム参照映像を識別するためにロング・ターム参照映像のみのための別個の映像番号を用いる必要なく、映像のＰＯＣ情報を用いてロング・ターム参照映像を示す。よって、ロング・ターム参照映像のみのための別個の映像番号を保存するための保存空間が節約される。また、ロング・ターム参照映像を示すインデックスの範囲を無限大まで拡張できる。

図３は、一実施形態によるロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報及びＭＳＢ情報を示す。

一実施形態によるインター予測装置１０及び一実施形態による動き補償装置２０は、ロング・ターム参照映像を示すためにインデックスロング・ターム参照映像のＰＯＣ情報を用いる。また、ＰＯＣ情報は、ＭＳＢ情報とＬＳＢ情報とに分割される。ＬＳＢ情報の最大サイズは予め設定される。図３でＬＳＢ情報の範囲は０〜１５であるので、ＬＳＢ情報の最大サイズは１６、すなわち、４ビットに設定されている。

ＰＯＣ情報をＬＳＢ情報の最大サイズで割れば、商はＭＳＢ情報として、残りはＬＳＢ情報として定められる。

したがって、ＰＯＣ情報が０、１、２、…、１３、１４、１５まに増加する間にＰＯＣ情報のＭＳＢ情報はいずれも０であり、ＬＳＢ情報は０、１、２、…、１３、１４、１５に増加する。またＰＯＣ情報が１６、１７、１８、…、３０、３１まに増加する間にＰＯＣ情報のＭＳＢ情報はいずれも１であり、ＬＳＢ情報は０、１、２、…、１３、１４、１５に増加する。またＰＯＣ情報が３２、３３、３４、…、４７まに増加する間にＰＯＣ情報のＭＳＢ情報はいずれも２であり、ＬＳＢ情報は０、１、２、…、１５に増加する。またＰＯＣ情報が４８ならば、ＰＯＣ情報のＭＳＢ情報は３であり、ＬＳＢ情報は０である。

図３でＭＳＢ情報０、１、２、３はいずれも１６進数であり、それぞれ１０進数で０、１６、３２、４８を意味する。

ＰＯＣ情報が１５から１６に、３１から３２に、または４７から４８に増加する時、ＬＳＢ情報は１５から０に戻る。すなわち、ＬＳＢ情報が順次に増加している途中で最大サイズの倍数に増加する度に、ＬＳＢ情報は最大値から最小値に戻るラップアラウンド現象が発生する。

ＰＯＣ情報のＭＳＢ情報が既に確認された場合にさらにＬＳＢ情報さえ定められるならば、ＭＳＢ情報とＬＳＢ情報とを結合してＰＯＣ情報が定められる。

したがって、一実施形態によるインター予測装置１０は、ロング・ターム参照映像を示す参照インデックスを出力するために、ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報のみを出力する。一実施形態による動き補償装置２０は、インター予測装置１０から受信された参照インデックスからロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取り、予め獲得したＭＳＢ情報にＬＳＢ情報を結合することでロング・ターム参照映像のＰＯＣ情報を復元する。

他の実施形態によるロング・ターム参照インデックスは、現在映像のＰＯＣ情報とロング・ターム参照映像のＰＯＣ情報との差情報のＬＳＢ情報を示す。この場合に動き補償装置２０は、ロング・ターム参照インデックスから、現在映像のＰＯＣ情報とロング・ターム参照映像のＰＯＣ情報との差情報のＬＳＢ情報（ＤｅｌｔａＰＯＣＬｔＭ１Ｌｓｂ）を読み取れる。動き補償装置２０は、既定の現在映像のＰＯＣ情報とロング・ターム参照映像のＰＯＣ情報との差情報のＭＳＢ情報（ＤｅｌｔａＰＯＣＬｔＭ１Ｍｓｂ）と、読み取られたＬＳＢ情報（ＤｅｌｔａＰＯＣＬｔＭ１Ｌｓｂ）とを結合して、現在映像のＰＯＣ情報とロング・ターム参照映像のＰＯＣ情報との差情報（ＤｅｌｔａＰＯＣＬｔＭ１）を定める（ＤｅｌｔａＰＯＣＬｔＭ１＝ＤｅｌｔａＰＯＣＬｔＭ１Ｍｓｂ＋ＤｅｌｔａＰＯＣＬｔＭ１Ｌｓｂ）。また、現在映像のＰＯＣ情報（ＰｉｃＯｒｄｅｒＣｎｔ）から前記定められた差情報（ＤｅｌｔａＰＯＣＬｔＭ１）を減算すれば、現在映像のロング・ターム参照映像のＰＯＣ情報（ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ）が定められる（ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ＝ＰｉｃＯｒｄｅｒＣｎｔ−ＤｅｌｔａＰＯＣＬｔＭ１）。

一実施形態による動き補償装置２０が、インター予測装置１０からロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報を受信する場合がある。この場合に動き補償装置２０は、受信したロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報とＬＳＢ情報とを結合してロング・ターム参照映像のＰＯＣ情報を復元する。

他の例として、動き補償装置２０は、複数のロング・ターム参照映像のうち、既定の以前ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報に基づいて現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報を定める。例えば、現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ＰＯＣＬｔＭ１Ｍｓｂ）は、ｉ）以前ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ｐｒｅｖＰＯＣＬｔＭ１Ｍｓｂ）よりＬＳＢ情報の最大サイズ（ＭａｘＰＯＣＬｔＬｓｂ）ほど増加するか、ｉｉ）以前ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ｐｒｅｖＰＯＣＬｔＭ１Ｍｓｂ）よりＬＳＢ情報の最大サイズ（ＭａｘＰＯＣＬｔＬｓｂ）ほど減少するか、ｉｉｉ）以前ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ｐｒｅｖＰＯＣＬｔＭ１Ｍｓｂ）と同一に定められる。

例えば、動き補償装置２０は、以前ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報と、現在ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報とを比較して、現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報が、以前ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報に比べて増減させるか、または同一に維持するかを定める。

第１の条件によれば、現在ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報（ｐｒｅｖＰＯＣＬｔＬｓｂＭ１）が以前ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報（ｐｒｅｖＰＯＣＬｔＬｓｂＭ１）より小さく、現在ロング・ターム参照映像と以前ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報との距離がＬＳＢ情報の最大サイズの半分（（ＭａｘＰＯＣＬｔＬｓｂ／２）より大きいか、または小さな場合がある。第１の条件が満たされる場合に、現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ＰＯＣＬｔＭ１Ｍｓｂ）は、以前ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ｐｒｅｖＰＯＣＬｔＭ１Ｍｓｂ）よりＬＳＢ情報の最大サイズ（ＭａｘＰＯＣＬｔＬｓｂ）ほど増加する。

［第１の条件による関係式］
ｉｆ（（ＰＯＣＬｔＭ１Ｌｓｂ＜ｐｒｅｖＰＯＣＬｔＭ１Ｌｓｂ）＆＆
（（ｐｒｅｖＰＯＣＬｔＭ１Ｌｓｂ−ＰＯＣＬｔＭ１Ｌｓｂ）＞＝（ＭａｘＰＯＣＬｔＬｓｂ／２）））
ＰＯＣＬｔＭ１Ｍｓｂ＝ｐｒｅｖＰＯＣＬｔＭ１Ｍｓｂ＋ＭａｘＰＯＣＬｔＬｓｂ
すなわち、第１の条件では、以前ロング・ターム参照映像のＰＯＣ情報から現在ロング・ターム参照映像のＰＯＣ情報に増加する方向にＬＳＢ情報のラップアラウンド現象が発生したと判断され、現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報が相対的に増加する。

第２の条件によれば、現在ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報（ｐｒｅｖＰＯＣＬｔＬｓｂＭ１）が以前ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報（ｐｒｅｖＰＯＣＬｔＬｓｂＭ１）より大きく、現在ロング・ターム参照映像と以前ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報との距離がＬＳＢ情報の最大サイズの半分（ＭａｘＰＯＣＬｔＬｓｂ／２）より大きいか、または小さい。第２の条件が満たされる場合に、現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ＰＯＣＬｔＭ１Ｍｓｂ）は、以前ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ｐｒｅｖＰＯＣＬｔＭ１Ｍｓｂ）よりＬＳＢ情報の最大サイズ（ＭａｘＰＯＣＬｔＬｓｂ）ほど減少する。

［第２の条件による関係式］
ｉｆ（（ＰＯＣＬｔＭ１Ｌｓｂ＞ｐｒｅｖＰＯＣＬｔＭ１Ｌｓｂ）＆＆
（（ｐｒｅｖＰＯＣＬｔＭ１Ｌｓｂ−ＰＯＣＬｔＭ１Ｌｓｂ）＞＝（ＭａｘＰＯＣＬｔＬｓｂ／２）））
ＰＯＣＬｔＭ１Ｍｓｂ＝ｐｒｅｖＰＯＣＬｔＭ１Ｍｓｂ−ＭａｘＰＯＣＬｔＬｓｂ
すなわち、第２の条件では、以前ロング・ターム参照映像のＰＯＣ情報から現在ロング・ターム参照映像のＰＯＣ情報に減少する方向にＬＳＢ情報のラップアラウンド現象が発生したと判断され、現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報が相対的に減少する。

第３の条件は、第１の条件と第２の条件以外の場合である。第３の条件に該当する場合に、現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ＰＯＣＬｔＭ１Ｍｓｂ）は、以前ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ｐｒｅｖＰＯＣＬｔＭ１Ｍｓｂ）と同様に維持される。

［第３の条件による関係式］
ＰＯＣＬｔＭ１Ｍｓｂ＝ｐｒｅｖＰＯＣＬｔＭ１Ｍｓｂ
第１、第２、第３の条件をいずれも考慮して定められた現在ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報（ＰＯＣＬｔＭ１Ｍｓｂ）が定められ、ロング・ターム参照インデックスから読み取られた現在ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報（ＰＯＣＬｔＭ１Ｌｓｂ）に、前記定められたＭＳＢ情報（ＰＯＣＬｔＭ１Ｍｓｂ）を結合することで、現在ロング・ターム参照映像のＰＯＣ情報（ＰＯＣＬｔＭ１）が定められる（ＰＯＣＬｔＭ１＝ＰＯＣＬｔＭ１Ｍｓｂ＋ＰＯＣＬｔＭ１Ｌｓｂ）。

前述された現在映像とロング・ターム参照映像のＰＯＣ情報との差情報のＬＳＢ情報がロング・ターム参照インデックスとして用いられる実施形態でも、現在映像と既定の以前ロング・ターム参照映像のＰＯＣ情報との差情報のＬＳＢ情報に基づいて、現在映像と現在ロング・ターム参照映像のＰＯＣ情報との差情報のＬＳＢ情報が増加するか、減少するか、または同一に維持されるかが定められる。

図４は、一実施形態によるインター予測を行うビデオ符号化装置４０のブロック図である。

一実施形態によるビデオ符号化装置４０は、復号ピクチャーバッファ４２、インター予測部４４、変換量子化部４６及びエントロピー符号化部４８を備える。

一実施形態による復号ピクチャーバッファ４２は、先に復元された映像を保存している。復号ピクチャーバッファ４２に保存された復元映像のうち映像のインター予測のための参照映像が定められる。一実施形態によるインター予測部４４は、復号ピクチャーバッファ４２０に保存された復元映像から選択されたロング・ターム参照映像を用いて、現在映像に対するインター予測を行って残差データを生成する。インター予測部４４は、一実施形態による前述したインター予測装置１０と同じ動作を行える。

一実施形態による変換量子化部４６は、インター予測部４４で生成された残差データに対して変換及び量子化を行い、量子化された変換係数を生成する。一実施形態によるエントロピー符号化部４８は、量子化された変換係数及び動きベクトルを含むシンボルに対してエントロピー符号化を行える。

したがって、ビデオ符号化装置４０は、ビデオの映像に対してブロック別にインター予測を行い、インター予測によって生成されたブロック別残差データに対して変換及び量子化を行ってブロック別量子化された変換係数を生成し、量子化された変換係数に対してエントロピー符号化を行い、ビットストリームを出力することでビデオを符号化する。

一実施形態によるエントロピー符号化部４８は、量子化された変換係数と共にインター予測によって定められた動きベクトルを出力する。したがって、量子化された変換係数及び動きベクトルを含むシンボルに対してエントロピー符号化が行われる。

またインター予測部４４で定められたロング・ターム参照インデックスも、シンボルとして出力される。ロング・ターム参照インデックスは、ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報である。したがって、エントロピー符号化部４８は、量子化された変換係数、動きベクトルとロング・ターム参照インデックスを含むシンボルに対してエントロピー符号化を行える。エントロピー符号化部４８は、エントロピー符号化によって生成されたビットストリームを出力する。

また、ビデオ符号化装置４０は、他の映像のインター予測のための参照映像を生成するために、復号ピクチャーバッファに保存された以前復元映像を参照して現在映像の残差データ及び動きベクトルを用いる動き補償を行い、現在映像の復元映像を生成する。よって、ビデオ符号化装置４０は、動き補償のために動き補償装置２０の動作を行える。

すなわち、ビデオ符号化装置４０も、動き補償のためのロング・ターム参照映像を選択するために、一実施形態によるロング・ターム参照インデックスからＰＯＣ情報のＬＳＢ情報を読み取り、読み取られたＬＳＢ情報を用いてロング・ターム参照映像のＰＯＣ情報を復元する。ビデオ符号化装置４０は、復号ピクチャーバッファに保存された復元映像から、復元されたＰＯＣ情報に対応するロング・ターム参照映像を選択し、選択されたロング・ターム参照映像に基づいて現在映像の残差データ及び動きベクトルを用いる動き補償を行える。

一実施形態によるビデオ符号化装置４０は、ビデオ符号化結果を出力するために、ビデオ符号化装置４０の内部に搭載されたビデオエンコードプロセッサまたは外部ビデオエンコードプロセッサと連係して作動することで、イントラ予測、インター予測、変換、量子化を含むビデオ符号化動作を行える。一実施形態によるビデオ符号化装置４０が別個の内部ビデオエンコードプロセッサを備える場合だけではなく、ビデオ符号化装置４０またはビデオ符号化装置４０を制御する中央演算装置またはグラフィック演算装置がビデオエンコードプロセッシングモジュールを備える場合にも、一実施形態によるビデオ符号化動作が具現される。

図５は、一実施形態による動き補償を行うビデオ復号化装置５０のブロック図である。一実施形態によるビデオ復号化装置５０は、受信部５２、逆量子化逆変換部５４、復号ピクチャーバッファ５６、動き補償部５８及びインループ・フィルタリング部５９を備える。

一実施形態による受信部５２は、ビデオストリームを受信し、受信されたビデオストリームに対してエントロピー復号化を行い、符号化された映像データをパージングする。

一実施形態による逆量子化逆変換部５４は、受信部５２でパージングされた符号化された映像データに対して逆量子化及び逆変換を行い、残差データを復元する。

一実施形態による受信部５２は、ビデオストリームから動きベクトルをパージングする。一実施形態による復号ピクチャーバッファ５６は、先に復元された映像を保存し、復元映像は、他の映像の動き補償のための参照映像として用いられる。一実施形態による動き補償部５８は、復号ピクチャーバッファに保存された参照映像に基づいて、動きベクトル及び残差データを用いた動き補償を行える。

インループ・フィルタリング部５９は、動き補償部５８によって復元され、出力された復元映像に対してデブロッキングフィルタリングを行える。インループ・フィルタリング部５９は、最終復元映像を出力する。また、インループ・フィルタリング部５９の出力映像は復号ピクチャーバッファ５６に保存され、次の映像の動き補償のための参照映像として用いられる。

一実施形態によるビデオ復号化装置５０は、ビデオの映像ごとにブロック別に復号化を行ってビデオを復元する。受信部５２は、ブロック別に符号化されたデータ及び動きベクトルをパージングし、逆量子化逆変換部５４は、ブロックごとに逆量子化及び逆変換を行ってブロック別に残差データを復元する。動き補償部５８は、ブロックごとに参照映像のうち動きベクトルが示す参照ブロックを定め、参照ブロックに残差データを合成することで復元ブロックが生成される。

一実施形態による受信部５２は、ビデオストリームからロング・ターム参照インデックスをパージングする。動き補償部５８は、前述した動き補償装置２０と同じ動作を行える。動き補償部５８は、ロング・ターム参照インデックスから現在映像のロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取り、ロング・ターム参照映像のＭＳＢ情報及びＬＳＢ情報を用いてロング・ターム参照映像のＰＯＣ情報を定める。動き補償部５８は、復号ピクチャーバッファ５９に保存された復元映像のうち定められたＰＯＣ情報に対応するロング・ターム参照映像に基づいて、動きベクトル及び残差データを用いた動き補償を行える。すなわち、動き補償部５８は、ロング・ターム参照映像のうち動きベクトルが示す参照ブロックを定め、参照ブロックと残差データとを合成して現在ブロックを復元する。

一実施形態によるビデオ復号化装置５０は、ビデオ復号化結果を出力するためにビデオ復号化装置５０の内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連係して作動することで、逆量子化、逆変換、イントラ予測、動き補償を含むビデオ復号化動作を行える。一実施形態によるビデオ復号化装置５０が別個の内部ビデオデコーディングプロセッサを備える場合だけではなく、ビデオ復号化装置５０またはビデオ復号化装置５０を制御する中央演算装置またはグラフィック演算装置がビデオデコーディングプロセッシングモジュールを備える場合にも、一実施形態によるビデオ復号化動作が具現される。

一実施形態によるインター予測装置１０で、ビデオデータが分割されるブロックがツリー構造の符号化単位に分割され、符号化単位に対するインター予測のための予測単位が用いられる場合があるということは、前述した通りである。以下、図６ないし１８を参照して、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置が開示される。

図６は、本発明の一実施形態によるツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図である。

一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を備える。以下、説明の便宜のために、一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、‘ビデオ符号化装置１００’と略称する。

最大符号化単位分割部１１０は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは、少なくとも一つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であり、横及び縦のサイズが２の自乗である正方形のデータ単位である。映像データは、少なくとも一つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度に特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは減少するため、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。

前述したように符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるため、最大符号化単位に含まれた空間領域の映像データが深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが、予め設定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも一つの分割領域を符号化し、少なくとも一つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化単位決定部１２０は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最も小さな符号化誤差が発生する深度を選択して符号化深度として定める。定められた符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも一つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも一つの符号化深度が定められる。

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の数は増加する。また、一つの最大符号化単位に含まれる同一深度の符号化単位であっても、それぞれのデータに対する符号化誤差を測定して下位深度への分割如何が定められる。よって、一つの最大符号化単位に含まれるデータであっても、位置によって深度別符号化誤差が異なるため、位置によって符号化深度が異なって定められる。よって、一つの最大符号化単位に対して符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区切られる。

したがって、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域に対しては深度によって階層的に定められ、他の領域に対しては独立して定められる。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して定められる。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に関する指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を示す。例えば、最大符号化単位の深度が０であれば、最大符号化単位が１回分割された符号化単位の深度は１と設定され、２回分割された符号化単位の深度が２と設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位ならば、深度０ないし４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５と設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位に対して予測符号化及び変換を含む符号化が行われねばならない。以下、説明の便宜のために少なくとも一つの最大符号化単位のうち現在深度の符号化単位に基づいて予測符号化及び変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択できる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、すべての段階にわたって同じデータ単位が使われても、段階別にデータ単位が変更されてもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために符号化単位と異なるデータ単位を選択する。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、これ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、これ以上分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同じサイズのパーティションである。

例えば、サイズ２Ｎ×２Ｎ（但し、Ｎは、正の定数）の符号化単位がこれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位になり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含む。

予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインタモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の一つの予測単位ごとに独立して符号化が行われ、符号化誤差の最も小さな予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの変換を行える。符号化単位の変換のためには、符号化単位より小さいか、または同じサイズ変換単位に基づいて変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインタモードのための変換単位を含む。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、符号化単位の残差データが変換深度によって、ツリー構造による変換単位によって区切られる。

一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在符号化単位の変換単位のサイズが２Ｎ×２Ｎならば、変換深度０、変換単位のサイズがＮ×Ｎならば、変換深度１、変換単位のサイズがＮ／２×Ｎ／２ならば、変換深度２に設定される。すなわち、変換単位に対しても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく予測関連情報及び変換関連情報が必要である。よって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションで分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを定める。

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については、図８ないし図１８を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Ｌａｇｒａｎｇｉａｎ Ｍｕｌｔｉｐｌｉｅｒ）基盤の率−歪曲最適化技法を用いて測定できる。

出力部１３０は、符号化単位決定部１２０で定められた少なくとも一つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報を、ビットストリーム形態に出力する。

符号化された映像データは、映像の残差データの符号化結果である。

深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度に符号化せずに下位深度の符号化単位に符号化するかどうかを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位に符号化されるため、現在深度の分割情報はこれ以上下位深度に分割されないように定義される。逆に、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を用いた符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われ、同一深度の符号化単位ごとに再帰的符号化が行われる。

一つの最大符号化単位内にツリー構造の符号化単位が定められ、符号化深度の符号化単位ごとに少なくとも一つの符号化モードに関する情報が定められねばならないので、一つの最大符号化単位については、少なくとも一つの符号化モードに関する情報が定められる。また、最大符号化単位のデータは、深度によって階層的に区切られて位置別に符号化深度が異なるので、データについて符号化深度及び符号化モードに関する情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、該符号化深度及び符号化モードに関する符号化情報を割り当てる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるすべての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形のデータ単位である。

例えば、出力部１３０を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インタモードの推定方向に関する情報、インタモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。

ピクチャー、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズに関する情報及び変換単位の最小サイズに関する情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットなどを通じて出力される。出力部１３０は、図１Ａないし図６を参照して前述した予測に関する参照情報、予測情報、単一方向予測情報、第４スライスタイプを含むスライスタイプ情報などを符号化して出力する。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分したサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎならば、下位深度の符号化単位のサイズはＮ×Ｎである。また、２Ｎ×２Ｎサイズの現在符号化単位は、Ｎ×Ｎサイズの下位深度符号化単位を最大４個含む。

したがって、ビデオ符号化装置１００は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定めてツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに多様な予測モード、変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。

したがって、映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を既存マクロブロック単位に符号化すれば、ピクチャーだマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなってデータ圧縮効率が減少する傾向がある。よって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増加させつつ映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が増大する。

図６のビデオ符号化装置１００は、図１Ａを参照して前述したインター予測装置１０または図４を参照して前述したビデオ符号化装置４０の動作を行える。

符号化単位決定部１２０及び出力部１３０は、インター予測装置１０またはインター予測部４４の動作を行える。最大符号化単位ごとに、ツリー構造による符号化単位別にインター予測のための予測単位を定め、予測単位ごとにインター予測を行える。

特に、インタモードである現在予測単位のインター予測のためにロング・ターム参照映像が用いられる場合に、ボックポピックチォバッファに保存されるロング・ターム参照映像を識別するためのロング・ターム参照インデックスとして、ロング・ターム参照映像のＰＯＣ情報を用いる。出力部１３０は、参照インデックスとして、ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を出力できる。また、現在スライスで参照されるロング・ターム参照映像を示す参照インデックスをスライスヘッダに保存する。よって、出力部１３は、スライスヘッダを通じて参照インデックスとして、ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を伝送する。

また、符号化単位決定部１２０は、他の映像のインター予測のための参照映像を生成するために、復号ピクチャーバッファに保存された以前復元映像を参照して現在映像のための動き補償を行える。よって、符号化単位決定部１２０は、図５を参照して前述したビデオ復号化装置５０の動作を行える。

すなわち、符号化単位決定部１２０も、動き補償のためのロング・ターム参照映像を選択するために、一実施形態によるロング・ターム参照インデックスからＰＯＣ情報のＬＳＢ情報を読み取り、読み取られたＬＳＢ情報を用いてロング・ターム参照映像のＰＯＣ情報を復元する。符号化単位決定部１２０は、復号ピクチャーバッファに保存された復元映像のうち、復元されたＰＯＣ情報に対応するロング・ターム参照映像を選択し、選択されたロング・ターム参照映像に基づいて動きベクトルと残差データを用いた動き補償を行える。

符号化単位決定部１２０は、予測単位別に行われる動き補償を行うので、選択されたロング・ターム参照映像のうち現在予測単位の動きベクトルが示す参照予測単位を定め、現在予測単位の残差データと定められた参照予測単位とを合成して現在予測単位を復元する。予測単位が復元されることで符号化単位が復元され、符号化単位が復元されることで最大符号化単位が復元され、最大符号化単位が復元されることで映像が復元される。

図７は、本発明の一実施形態によって、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図である。

一実施形態によってツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を備える。以下、説明の便宜のために、一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、‘ビデオ復号化装置２００’と略称する。

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図６及びビデオ符号化装置１００を参照して前述したものと同一である。

受信部２１０は、符号化されたビデオに対するビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出して映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャーに対するヘッダ、シーケンスパラメータセットまたはピクチャーパラメータセットから、現在ピクチャーの符号化単位の最大サイズに関する情報を抽出する。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位に対する符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化させ得る。

最大符号化単位別符号化深度及び符号化モードに関する情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに関する情報は、該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されてもよい。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、一実施形態によるビデオ符号化装置１００のように符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行って最小符号化誤差を発生させると定められた符号化深度及び符号化モードに関する情報である。よって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元する。

一実施形態による符号化深度及び符号化モードに関する符号化情報は、該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに関する情報を抽出できる。所定データ単位別に、該最大符号化単位の符号化深度及び符号化モードに関する情報が記録されていれば、同じ符号化深度及び符号化モードに関する情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行える。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別にツリー構造による変換単位情報を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行える。逆変換を通じて、符号化単位の空間領域の画素値が復元される。

映像データ復号化部２３０は、深度別分割情報を用いて現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度でこれ以上分割されないことを示していれば、現在深度が符号化深度である。よって、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部２３０によって同じ符号化モードに復号化する一つのデータ単位と見なされる。このように定められた符号化単位ごとに符号化モードに関する情報を獲得して現在符号化単位の復号化が行われる。

また、図７のビデオ復号化装置２００のうち映像データ復号化部２３０は、図２Ａを参照して前述した動き補償装置２０、または図５を参照して前述した動き補償部５８の動作を行える。

映像データ及び符号化情報抽出部２２０は、受信されたビットストリームからロング・ターム参照インデックスをパージングする。スライスヘッダからロング・ターム参照インデックスがパージングされる。

映像データ復号化部２３０は、最大符号化単位ごとにツリー構造による符号化単位別に、インター予測のための予測単位を定めて予測単位ごとにインター予測を行える。

特に、映像データ復号化部２３０は、ロング・ターム参照インデックスからロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取れる。映像データ復号化部２３０は、既定のロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報と読み取られたＬＳＢ情報とを結合してロング・ターム参照映像のＰＯＣ情報を復元する。

映像データ復号化部２３０は、予測単位別に行われる動き補償を行うので、ロング・ターム参照映像のうち現在予測単位の動きベクトルが示す参照予測単位を定め、参照予測単位に現在予測単位の残差データを合成して現在予測単位を復元する。予測単位が復元されることで符号化単位が復元され、符号化単位が復元されることで最大符号化単位が復元され、最大符号化単位が復元されることで映像が復元される。

結局、ビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って最小符号化誤差を発生させた符号化単位に関する情報を獲得し、現在ピクチャーに対する復号化に用いる。すなわち、最大符号化単位ごとに、最適符号化単位に定められたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

したがって、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって効率的に映像データを復号化して復元する。

図８は、本発明の一実施形態による符号化単位の概念を示す。

符号化単位の例は、符号化単位のサイズは、幅×高さで表現され、サイズ６４×６４の符号化単位から、３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位はサイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２×１６、１６×３２、１６×１６のパーティションに、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

ビデオデータ３１０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度は３５２×２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図８に示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、またはデータ量が多い場合に、符号化効率の向上だけではなく映像特性を正確に反映するために符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ３３０に比べて、解像度の高いビデオデータ３１０、３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズ６４の最大符号化単位から、２回分割して深度が２階層深くなって長軸サイズが３２、１６の符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズ１６の符号化単位から、１回分割して深度が１階層深くなって長軸サイズが８の符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４の最大符号化単位から、３回分割して深度が３の階層深くなって長軸サイズが３２、１６、８の符号化単位まで含む。深度が深くなるほど詳細情報の表現能が向上する。

図９は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図である。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で映像データの符号化にかかる作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インタモードの現在フレーム４０５及び参照フレーム４９５を用いてインタ推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０がいずれも、最大符号化単位ごとに最大深度を考慮してツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを定めねばならない。

特に、動き推定部４２０でロング・ターム参照フレームを用いたインター予測を行った場合に、ロング・ターム参照インデックスとしてロング・ターム参照フレームのＰＯＣ情報が出力される。エントロピー符号化部４５０は、ロング・ターム参照インデックスとしてロング・ターム参照フレームのＰＯＣ情報のＬＳＢ情報を符号化して出力される。スライスヘッダに、現在スライスの予測単位のためのロング・ターム参照フレームのＰＯＣ情報のＬＳＢ情報が収録されて伝送される。

動き補償部４２５も、ロング・ターム参照インデックスから読み取られたＰＯＣ情報のＬＳＢ情報を用いてロング・ターム参照フレームのＰＯＣ情報を定める。動き補償部４２５は、復号ピクチャーバッファに保存された参照フレームのうち復元されたＰＯＣ情報に対応するロング・ターム参照フレームを選択し、選択されたロング・ターム参照フレームに基づいて現在フレームの残差データ及び動きベクトルを用いる動き補償を行える。

図１０は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図である。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータに出力され、逆変換部５４０を経て空間領域の映像データが復元される。

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に用いてインタモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されて復元フレーム５９５に出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０がいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとにパーティション及び予測モードを定め、逆変換部５４０は、符号化単位ごとに変換単位のサイズを定めねばならない。

特に、パージング部５１０は、ビットストリーム５０５からロング・ターム参照インデックスをパージングできる。スライスヘッダから、現在スライスの予測単位のためのロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報がパージングされる。動き補償部５６０は、現在ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報とＭＳＢ情報とを併合して現在ロング・ターム参照映像のＰＯＣ情報を復元し、復号ピクチャーバッファに保存されたロング・ターム参照映像のうち復元されたＰＯＣ情報に対応する現在ロング・ターム参照映像を定める。動き補償部５６０は、現在ロング・ターム参照映像のうち現在予測単位のための動きベクトルが示す参照予測単位を定め、参照予測単位と現在予測単位との残差データを結合して現在予測単位を復元する。

図１１は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められ、ユーザの要求に応じて多様に設定される。予め設定された符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を示している。この時、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなりて、サイズ３２×３２である深度１の符号化単位６２０、サイズ１６×１６の深度２の符号化単位６３０、サイズ８×８の深度３の符号化単位６４０が存在する。サイズ４×４の深度３の符号化単位６４０は、最小符号化単位である。

それぞれの深度別に横軸に沿って符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位ならば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を定めるために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度１の符号化単位一つが含むデータに対して、深度２の符号化単位は４つが必要である。よって、同じデータの符号化結果を深度別に比較するために、一つの深度１の符号化単位及び４つの深度２の符号化単位を用いてそれぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って深度別符号化単位の予測単位ごとに符号化を行い、該深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比べて最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図１２は、本発明の一実施形態による、符号化単位及び変換単位の関係を示す。

一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中に変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００において、現在符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を用いて変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図１３は、本発明の一実施形態によって深度別符号化情報を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を符号化して伝送する。

パーティションタイプに関する情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ２Ｎ×２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか一つのタイプに分割されて用いられる。この場合、現在符号化単位のパーティションタイプに関する情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６及びサイズＮ×Ｎのパーティション８０８のうち一つを示すように設定される。

予測モードに関する情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報８１０を通じて、パーティションタイプに関する情報８００の示すパーティションが、イントラモード８１２、インタモード８１４及びスキップモード８１６のうち一つで予測符号化の実行如何が設定される。

また、変換単位サイズに関する情報８２０は、現在符号化単位をいかなる変換単位に基づいて変換するかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インタ変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を抽出して復号化に用いる。

図１４は、本発明の一実施形態による深度別符号化単位を示す。

深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるかどうかを示す。

深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２、９１４、９１６、９１８のみ例示されているが、前述したように、パーティションタイプはこれに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、一つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０×Ｎ＿０サイズのパーティション、２つのＮ＿０×２Ｎ＿０サイズのパーティション、４つのＮ＿０×Ｎ＿０サイズのパーティションごとに反復して予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０及びサイズ２Ｎ＿０×Ｎ＿０及びサイズＮ＿０×Ｎ＿０のパーティションについては、イントラモード及びインタモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０×２Ｎ＿０のパーティションのみについて予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち一つによる符号化誤差が最も小さければ、これ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しつつ分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行って最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しつつ分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０に対して反復して符号化を行って最小符号化誤差を検索する。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１である時まで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割（９７０）されて深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、一つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに反復して予測符号化を通じる符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）はこれ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１と定められ、パーティションタイプは、Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）と定められる。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に対する‘最小単位’と称する。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。このような反復的な符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して最も小さな符号化誤差が発生する深度を選択して符号化深度を定め、該パーティションタイプ及び予測モードが符号化深度の符号化モードと設定される。

このように深度０、１、…、ｄ−１、ｄのすべての深度別最小符号化誤差を比較し、誤差の最も小さな深度が選択されて符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみが‘０’と設定され、符号化深度を除いた深度別分割情報は‘１’と設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位に関する情報を抽出し、符号化単位９１２の復号化に用いる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を用いて分割情報が‘０’である深度を符号化深度と把握し、該深度に対する符号化モードに関する情報を用いて復号化に用いる。

図１５ないし図１７は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を示す。

符号化単位１０１０は、最大符号化単位に対して一実施形態によるビデオ符号化装置１００が定めた符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であれば、符号化単位１０１２、１０５４は深度が１、符号化単位１０１４、１０１６、１０１８、１０２８、１０５０、１０５２は深度が２、符号化単位１０２０、１０２２、１０２４、１０２６、１０３０、１０３２、１０４８は深度が３、符号化単位１０４０、１０４２、１０４４、１０４６は深度が４である。

予測単位１０６０のうち一部のパーティション１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４、１０２２、１０５０、１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６、１０４８、１０５２は、Ｎ×２Ｎのパーティションタイプ、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。

変換単位１０７０のうち一部１０５２の映像データに対しては、符号化単位に比べて小さなサイズのデータ単位に変換または逆変換が行われる。また、変換単位１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、予測単位１０６０のうち該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位に対するイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であっても、それぞれ別個のデータ単位に基づいて行える。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に関する分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下の表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定できる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に関する符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に関する符号化情報を抽出する。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるかどうかを示す。現在深度ｄの分割情報が０ならば、現在符号化単位が下位符号化単位にこれ以上分割されない深度が符号化深度であるので、符号化深度に対してパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって一段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに独立して符号化が行われねばならない。

予測モードは、イントラモード、インタモード及びスキップモードのうち一つで示す。イントラモード及びインタモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎと、非対称的な割合で分割された非対称的パーティションタイプ２Ｎ×ＮＵ、２Ｎ×ＮＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎとを示す。非対称的パーティションタイプ２Ｎ×ＮＵ及び２Ｎ×ＮＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インタモードで２種のサイズに設定される。すなわち、変換単位分割情報が０ならば、変換単位のサイズが現在符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ２Ｎ×２Ｎである現在符号化単位に対するパーティションタイプが対称形パーティションタイプであれば、変換単位のサイズは、Ｎ×Ｎ、非対称形パーティションタイプであれば、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含む。

したがって、隣接しているデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるかどうかが確認される。また、データ単位が保有している符号化情報を用いれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、現在符号化単位が周辺データ単位を参照して予測符号化が行われる場合、現在符号化単位に隣接している深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。

また他の実施形態として、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接している深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接しているデータが検索されることで周辺符号化単位が参照されることもある。

図１８は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。

最大符号化単位１３００は符号化深度の符号化単位１３０２、１３０４、１３０６、１３１２、１３１４、１３１６、１３１８を含む。このうち一つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ＮＵ １３３２、２Ｎ×ＮＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変わる。

例えば、パーティションタイプ情報が対称形パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち一つに設定されている場合、変換単位分割情報が０ならば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１ならば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２Ｎ×ＮＵ １３３２、２Ｎ×ＮＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１ならば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

図２１を参照して前述された変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）は、０または１の値を持つフラッグであるが、一実施形態による変換単位分割情報が１ビットのフラッグに限定されるものではなく、設定によって０、１、２、３…などに増加しつつ変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として用いられる。

この場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に用いれば、実際に用いられた変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化できる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報をビデオ復号化に用いる。

例えば、（ａ）現在符号化単位がサイズ６４×６４であり、最大変換単位サイズは３２×３２ならば、（ａ−１）変換単位分割情報が０である時に変換単位のサイズが３２×３２、（ａ−２）変換単位分割情報が１である時に変換単位のサイズが１６×１６、（ａ−３）変換単位分割情報が２である時に変換単位のサイズが８×８に設定される。

他の例として、（ｂ）現在符号化単位がサイズ３２×３２であり、最小変換単位サイズは３２×３２ならば、（ｂ−１）変換単位分割情報が０である時に変換単位のサイズが３２×３２に設定され、変換単位のサイズが３２×３２より小さくないため、これ以上の変換単位分割情報が設定されない。

さらに他の例として、（ｃ）現在符号化単位がサイズ６４×６４であり、最大変換単位分割情報が１ならば、変換単位分割情報は０または１であり、他の変換単位分割情報が設定されない。

したがって、最大変換単位分割情報を‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ’、最小変換単位サイズを‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’、変換単位分割情報が０である場合の変換単位サイズを‘ＲｏｏｔＴｕＳｉｚｅ’と定義する時、現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’は、下記の関係式（１）のように定義される。

ＣｕｒｒＭｉｎＴｕＳｉｚｅ
＝ｍａｘ（ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ，ＲｏｏｔＴｕＳｉｚｅ／
（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）） （１）
現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’と比べて、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、システム上採択可能な最大変換単位サイズを示す。すなわち、関係式（１）によれば、‘ＲｏｏｔＴｕＳｉｚｅ／（２＾ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅＩｎｄｅｘ）’は、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’を、最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、‘ＭｉｎＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最小変換単位サイズであるので、これらのうち小さな値が、現在現在符号化単位で可能な最小変換単位サイズ‘ＣｕｒｒＭｉｎＴｕＳｉｚｅ’である。

一実施形態による最大変換単位サイズＲｏｏｔＴｕＳｉｚｅは、予測モードによって変わる。

例えば、現在予測モードがインタモードならば、ＲｏｏｔＴｕＳｉｚｅは、下記の関係式（２）によって定められる。関係式（２）で‘ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ’は、最大変換単位サイズ、‘ＰＵＳｉｚｅ’は、現在予測単位サイズを示す。

ＲｏｏｔＴｕＳｉｚｅ
＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰＵＳｉｚｅ （２）
すなわち、現在予測モードがインタモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。

現在パーティション単位の予測モードがイントラモードならば、‘ＲｏｏｔＴｕＳｉｚｅ’は、下記の関係式（３）によって定められる。‘ＰａｒｔｉｔｉｏｎＳｉｚｅ’は、現在パーティション単位のサイズを示す。

ＲｏｏｔＴｕＳｉｚｅ
＝ｍｉｎ（ＭａｘＴｒａｎｓｆｏｒｍＳｉｚｅ，ＰａｒｔｉｔｉｏｎＳｉｚｅ） （３）
すなわち、現在予測モードがイントラモードならば、変換単位分割情報が０である場合の変換単位サイズである‘ＲｏｏｔＴｕＳｉｚｅ’は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定される。

但し、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズ‘ＲｏｏｔＴｕＳｉｚｅ’は、単に一実施形態であり、現在最大変換単位サイズを定める要因がこれに限定されるものではないということに留意せねばならない。

図６ないし図１９を参照して前述されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われつつ空間領域の映像データが復元され、ピクチャー及びピクチャーシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、または、ネットワークを通じて伝送される。

一方、前述した本発明の実施形態は、コンピュータで実行されるプログラムで作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。したがって、開示された実施形態は、限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は本発明に含まれていると解釈されねばならない。

図１Ａないし図２３を参照して前述された多視点ビデオ予測方法、多視点ビデオ予測復元方法、多視点ビデオ符号化方法及び多視点ビデオ復号化方法のそれぞれの実施形態をそれぞれ具現するためのプログラムがコンピュータで読み取り可能な記録媒体に保存されることで、独立したコンピュータシステムが前記記録媒体に保存された実施形態による動作を容易に具現できる。

説明の便宜のために、前記図１Ａないし図１８を参照して前述されたインター予測方法またはビデオ復号化方法は、‘本発明のビデオ符号化方法’と通称する。また、進んでも１ないし１８を参照して前述された動き補償方法またはビデオ復号化方法は、‘本発明のビデオ復号化方法’と称する。

また、前記図１Ａないし図１８を参照して前述されたインター予測装置１０、ビデオ符号化装置４０、多視点ビデオ符号化装置１００または映像符号化部４００で構成されたビデオ符号化装置は、‘本発明のビデオ符号化装置’と通称する。また、前記図１Ａないし図１８を参照して前述された動き補償装置２０、ビデオ復号化装置５０、ビデオ復号化装置２００または映像復号化部５００で構成されたビデオ復号化装置は、‘本発明のビデオ復号化装置’と通称する。

一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０００である実施形態を、以下で詳細に説明する。

図１９は、一実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として前述されたディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイディスク、ＤＶＤディスクである。ディスク２６０００は、複数の同心円のトラックｔｒで構成され、トラックは、周り方向に沿って所定数のセクターＳｅに分割される。前記前述された一実施形態によるプログラムを保存するディスク２６０００のうち特定領域に、前述された多視点ビデオ予測方法、多視点ビデオ予測復元方法、多視点ビデオ符号化方法及び多視点ビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。

前述されたビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を用いて達成されたコンピュータシステムが、図２０を参照して後述される。

図２０は、ディスク２６０００を用いてプログラムを記録して読み取るためのディスクドライブ２６３００を示す。コンピュータ・システム２６５００は、ディスクドライブ２６３００を用いて、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク２６０００に保存できる。ディスク２６０００に保存されたプログラムをコンピュータシステム２６５００上で実行するために、ディスクドライブ２６３００によってディスク２６０００からプログラムが読み取られ、プログラムがコンピュータシステム２６５００に伝送される。

図１９及び図２０で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。

前述された実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムが後述される。

図２１は、コンテンツ流通サービスを提供するためのコンテンツ供給システム１１０００の全体的構造を示す。通信システムのサービス領域は所定サイズのセルに分割され、各セルにベーススチーションとなる無線基地局１１７００、１１８００、１１９００、１２０００が設置される。

コンテンツ供給システム１１０００は、複数の独立デバイスを備える。例えば、コンピュータ１２１００、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）１２２００、カメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス供給者１１２００、通信網１１４００、及び無線基地局１１７００、１１８００、１１９００、１２０００を経てインターネット１１１００に連結される。

しかし、コンテンツ供給システム１１０００は、図２５に示された構造のみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７００、１１８００、１１９００、１２０００を経ずに通信網１１４００に直接連結されてもよい。

ビデオカメラ１２３００は、デジタルビデオカメラのようにビデオ映像を撮影できる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＧＳＭ（（登録商標）Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、及びＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）方式のような多様なプロトコルのうち少なくとも一つの通信方式を採択できる。

ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経てストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザがビデオカメラ１２３００を使って伝送したコンテンツを、リアルタイム放送でストリーミング伝送する。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００で撮影されたビデオデータは、コンピュータ１２１００を経てストリーミングサーバ１１３００に伝送される。

カメラ１２６００で撮影されたビデオデータも、コンピュータ１２１００を経てストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように静止画とビデオ映像とをいずれも撮影できる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ１２１００がアクセスできるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。

また携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。

ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを用いて録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントにコンテンツデータをストリーミング伝送する。

クライアントは、符号化されたコンテンツデータを復号化できるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００である。よって、コンテンツ供給システム１１０００は、クライアントが符号化されたコンテンツデータを受信して再生可能にする。またコンテンツ供給システム１１０００は、クライアントが符号化されたコンテンツデータを受信してリアルタイムに復号化して再生可能にし、個人放送を可能にする。

コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。

図２２及び図２３を参照して、コンテンツ供給システム１１０００のうち携帯電話１２５００の一実施形態が詳細に後述される。

図２２は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を示す。携帯電話１２５００は、機能が制限されておらず、応用プログラムを通じて相当部分の機能を変更または拡張できるスマートホンである。

携帯電話１２５００は、無線基地局１２０００とＲＦ信号を交換するための内臓アンテナ１２５１０を備え、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）画面のようなディスプレイ画面１２５２０を含む。スマートホン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を備える。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに備える。スマートホン１２５１０は、音声、音響を出力するためのスピーカ１２５８０または他の形態の音響出力部と、音声、音響が入力されるマイクロホン１２５５０または他の形態の音響入力部とを備える。スマートホン１２５１０は、ビデオ及び静止画を撮影するためのＣＣＤカメラのようなカメラ１２５３０をさらに備える。また、スマートホン１２５１０は、カメラ１２５３０によって撮影されるか、電子メールで受信されるか、または他の形態で獲得されたビデオや静止画のような、符号化または復号化されたデータを保存するための記録媒体１２５７０と、そして記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０とを備える。記録媒体１２５７０は、ＳＤカードまたはプラスチックケースに内蔵されたＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような他の形態のフラッシュメモリである。

図２３は、携帯電話１２５００の内部構造を示す。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラインターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチフレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ）１２６８０、記録／判読部１２６７０、変調／復調部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を通じて中央制御部１２７１０に連結される。

ユーザが電源ボタンを動作させて‘電源オフ’状態で‘電源オン’状態に設定すれば、電力供給回路１２７００は、バッテリーパックから携帯電話１２５００の各パートに電力を供給することで、携帯電話１２５００が動作モードにセットされる。

中央制御部１２７１０は、ＣＰＵ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。

携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０ではデジタル音響信号が生成され、映像符号化部１２７２０ではデジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を通じてメッセージのテキストデータが生成される。中央制御部１２７１０の制御によってデジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対してＤ／Ａ変換（Ｄｉｇｉｔａｌ−Ａｎａｌｏｇ ｃｏｎｖｅｒｓｉｏｎ）及び周波数変換処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を通じて音声通信基地局または無線基地局１２０００に送出される。

例えば、携帯電話１２５００が通話モードである時、マイクロホン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を通じて送出される。

データ通信モードで電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を用いてメッセージのテキストデータが入力され、テキストデータが動作入力制御部１２６４０を通じて中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を通じて送信信号に変換され、アンテナ１２５１０を通じて無線基地局１２０００に送出される。

データ通信モードで映像データを送るために、カメラ１２５３０によって撮影された映像データが、カメラインターフェース１２６３０を通じて映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラインターフェース１２６３０及びＬＣＤ制御部１２６２０を通じてディスプレイ画面１２５２０に直ちにディスプレイされる。

映像符号化部１２７２０の構造は、前述された本発明のビデオ符号化装置の構造に相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述されたビデオ符号化装置１００または映像符号化部４００のビデオ符号化方式によって符号化して、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８０に出力する。カメラ１２５３０の録画途中で携帯電話１２５００のマイクロホン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経てデジタル音響データに変換され、デジタル音響データは多重化／逆多重化部１２６８０に伝達される。

多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に映像符号化部１２７２０から提供された、符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を通じて送信信号に変換され、アンテナ１２５１０を通じて送出される。

携帯電話１２５００が外部から通信データを受信する過程では、アンテナ１２５１０を通じて受信された信号を、周波数復元及びＡ／Ｄ変換（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ ｃｏｎｖｅｒｓｉｏｎ）処理を通じてデジタル信号に変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によってビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。

携帯電話１２５００は、通話モードである時、アンテナ１２５１０を通じて受信された信号を増幅し、周波数変換及びＡ／Ｄ変換処理を通じてデジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって変調／復調部１２６６０及び音響処理部１２６５０を経てアナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８０を通じて出力される。

データ通信モードでインターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を通じて無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果で多重化されたデータを出力し、多重化されたデータは多重化／逆多重化部１２６８０に伝達される。

アンテナ１２５１０を通じて受信した、多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームはビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは音響処理部１２６５０に提供される。

映像復号化部１２６９０の構造は、前述された本発明のビデオ復号化装置の構造に相応する。映像復号化部１２６９０は、前述されたビデオ復号化装置２００または映像復号化部５００のビデオ復号化方式を用いて、符号化されたビデオデータを復号化して復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２０を経てディスプレイ画面１２５２０に提供する。

これによって、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。これと同時に、音響処理部１２６５０もオーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供する。これによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータもスピーカ１２５８０で再生される。

携帯電話１２５００または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも備える送受信端末機であるか、前述された本発明のビデオ符号化装置のみを備える伝送端末機であるか、または、本発明のビデオ復号化装置のみを備える受信端末機である。

本発明の通信システムは、図２１を参照して前述した構造に限定されるものではない。例えば、図２４は、本発明による通信システムが適用されたデジタル放送システムを示す。図２４の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を用いて、衛星または地上波ネットワークを通じて伝送されるデジタル放送を受信する。

具体的に説明すれば、放送局１２８９０は、電波を通じてビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放伝送号を伝送し、放伝送号は、家庭にあるアンテナ１２８６０によって衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ受信機１２８１０、セットトップボックス１２８７０または他のデバイスによって復号化されて再生される。

再生装置１２８３０で本発明のビデオ復号化装置が具現されることで、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを読み取って復号化する。これによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。

衛星／地上波放送のためのアンテナ１２８６０またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データもＴＶモニタ１２８８０で再生される。

他の例として、セットトップボックス１２８７０の代りにＴＶ受信機１２８１０自体に本発明のビデオ復号化装置が搭載されてもよい。

適宜なアンテナ１２９１０を備える自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信する。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に復号化されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に説明すれば、ＤＶＤレコーダによって映像信号がＤＶＤディスク１２９６０に保存されるか、または、ハードディスクレコーダ１２９５０によってハードディスクに映像信号が保存される。他の例として、ビデオ信号はＳＤカード１２９７０に保存されてもよい。ハードディスクレコーダ１２９５０が一実施形態による本発明のビデオ復号化装置を備えれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０または他の形態の記録媒体に記録されたビデオ信号がモニタ１２８８０で再生される。

自動車ナビゲーションシステム１２９３０は、図２７のカメラ１２５３０、カメラインターフェース１２６３０及び映像符号化部１２７２０を備えない。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２３のカメラ１２５３０、カメラインターフェース１２６３０及び映像符号化部１２７２０を備えない。

図２５は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を用いるクラウドコンピューティングシステムのネットワーク構造を示す。

本発明のクラウドコンピューティングシステムは、クラウドコンピューティングサーバ１４０００、ユーザＤＢ １４１００、コンピューティング資源１４２００及びユーザ端末機を備えて形成される。

クラウドコンピューティングシステムは、ユーザ端末機の要請に応じて、インターネットのような情報通信網を通じてコンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザに必要なサービスを提供する。サービスユーザは、アプリケーション、ストレージ、運用体制（ＯＳ）、保安（Ｓｅｃｕｒｉｔｙ）などのコンピューティング資源を各ユーザ所有の端末に設置して使うものではなく、仮想化技術を通じて生成された仮想空間上のサービスを所望の時点に所望のほど選んで使う。

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を通じてクラウドコンピューティングサーバ１４０００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４０００からクラウドコンピューティングサービス、特に動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ １４３００、スマートＴＶ １４４００、スマートホン１４５００、ノート型パソコン１４６００、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）１４７００、タブレットＰＣ １４８００など、インターネット接続の可能なすべての電子器機である。

クラウドコンピューティングサーバ１４０００は、クラウド網に分散している複数のコンピューティング資源１４２００を統合してユーザ端末機に提供する。複数のコンピューティング資源１４２００は、様々なデータサービスを含み、ユーザ端末機からアップロードされたデータを含む。このいようにクラウドコンピューティングサーバ１４０００は、いろいろな所に分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入されているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報とアドレス、名前など個人信用情報を含む。また、ユーザ情報は、動画のインデックスを含む。ここで、インデックスは、再生済みの動画リストと、再生中の動画リストと、再生中の動画の停止時点などを含む。

ユーザＤＢ １４１００に保存された動画に関する情報は、ユーザデバイスの同士で共有される。したがって、例えば、ノート型パソコン１４６００から再生要請されてノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に所定動画サービスの再生ヒストリーが保存される。スマートホン１４５００から同じ動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４０００は、ユーザＤＢ １４１００を参照し、所定動画サービスを探して再生する。スマートホン１４５００がクラウドコンピューティングサーバ１４０００を通じて動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、前記図２７を参照して前述した携帯電話１２５００の動作と類似している。

クラウドコンピューティングサーバ１４０００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照する。例えば、クラウドコンピューティングサーバ１４０００は、ユーザ端末機からユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画が既に再生中であれば、クラウドコンピューティングサーバ１４０００は、ユーザ端末機の選択によって最初から再生するか、または以前停止時点から再生するかによってストリーミング方法が変わる。例えば、ユーザ端末機が最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４０００がユーザ端末機に、該動画を最初のフレームからストリーミング伝送する。一方、ユーザ端末機が以前停止時点から続いて再生するように要請した場合には、クラウドコンピューティングサーバ１４０００がユーザ端末機に該動画を、停止時点のフレームからストリーミング伝送する。

この時にユーザ端末機は、図１Ａないし図１８を参照して前述した本発明のビデオ復号化装置を備える。他の例として、ユーザ端末機は、図１Ａないし図１８を参照して前述した本発明のビデオ符号化装置を備える。また、ユーザ端末機は、図１Ａないし図１８を参照して前述した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも備える。

図１Ａないし図１８を参照して前述された本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態が図１９ないし図２５で前述された。しかし、図１Ａないし図１８を参照して前述された本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されるか、または本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図１９ないし図２５の実施形態に限定されるものではない。

Claims (15)

1. インター予測方法において、
   復号ピクチャーバッファ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ；ＤＰＢ）に保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行う段階と、
   前記インター予測によって生成される前記現在映像の残差データ及び動きベクトルを定める段階と、
   前記ロング・ターム参照映像のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）情報をＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）情報とＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔｓ）情報とに分割し、前記ロング・ターム参照映像を示すロング・ターム参照インデックスとして前記ＬＳＢ情報を定める段階と、を含むことを特徴とするインター予測方法。
2. 前記ＬＳＢ情報決定段階は、
   前記現在映像のＰＯＣ情報と前記ロング・ターム参照映像のＰＯＣ情報との差情報をＭＳＢ情報及びＬＳＢ情報で分割して、前記差情報のＬＳＢ情報を前記ロング・ターム参照インデックスとして定める段階を含むことを特徴とする請求項１に記載のインター予測方法。
3. 前記ＬＳＢ情報決定段階は、
   スライスヘッダに、現在スライスのインター予測のために用いられたロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を、前記ロング・ターム参照インデックスとして挿入する段階を含むことを特徴とする請求項１に記載のインター予測方法。
4. 前記インター予測方法は、
   前記復号ピクチャーバッファに保存されたショート・ターム参照映像を用いて前記現在映像に対するインター予測を行う段階と、
   前記ショート・ターム参照映像を示すショート・ターム参照インデックスとして、前記ショート・ターム参照映像のＰＯＣ情報のＬＳＢ情報を定める段階と、を含むことを特徴とする請求項１に記載のインター予測方法。
5. 前記残差データ及び動きベクトル決定段階は、
   前記現在映像のブロック別に行われたインター予測結果によって、前記ブロック別に前記残差データ及び前記動きベクトルを定める段階を含むことを特徴とする請求項１に記載のインター予測方法。
6. 動き補償方法において、
   符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する段階と、
   前記符号化された映像データを復号化して現在映像の残差データを復元する段階と、
   前記ロング・ターム参照インデックスから前記現在映像のロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取り、前記ロング・ターム参照映像のＭＳＢ情報及び前記ＬＳＢ情報を用いて前記ＰＯＣ情報を定める段階と、
   復号ピクチャーバッファに保存された参照映像のうち前記定められたＰＯＣ情報に対応する前記ロング・ターム参照映像に基づいて、前記動きベクトル及び前記残差データを用いた動き補償を行って前記現在映像を復元する段階と、を含むことを特徴とする動き補償方法。
7. 前記ＰＯＣ情報決定段階は、
   前記現在映像のための複数のロング・ターム参照映像のうち、第１ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報から第２ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報を予測する段階と、
   前記受信されたロング・ターム参照インデックスから読み取られた第２ロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報と、前記第２ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報とを合成して、前記第２ロング・ターム参照映像のＰＯＣ情報を復元する段階と、を含むことを特徴とする請求項６に記載の動き補償方法。
8. 前記ＰＯＣ情報決定段階は、
   前記ロング・ターム参照映像のＰＯＣ情報のＭＳＢ情報と前記ＬＳＢ情報とを合成して、前記現在映像のＰＯＣ情報と前記ロング・ターム参照映像のＰＯＣ番号との差情報を復元する段階と、
   前記現在映像のＰＯＣ情報に前記復元された差情報ほど減算または加算することで前記ロング・ターム参照映像のＰＯＣ番号を定める段階と、を含むことを特徴とする請求項６に記載の動き補償方法。
9. 前記受信段階は、
   スライスヘッダから、現在スライスの動き補償のためのロング・ターム参照映像を示す前記ロング・ターム参照インデックスをパージングする段階を含むことを特徴とする請求項６に記載の動き補償方法。
10. 前記動き補償方法は、
    前記現在映像のインター予測のためのショート・ターム参照インデックスを受信する段階と、
    前記ショート・ターム参照インデックスから、前記現在映像のインター予測のためのショート・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取る段階と、
    前記読み取られたショート・ターム参照映像のＬＳＢ情報及び、以前ショート・ターム参照映像のＭＳＢ情報を用いて前記ショート・ターム参照映像のＰＯＣ情報を定める段階と、
    前記復号ピクチャーバッファに保存された参照映像のうち、前記定められたＰＯＣ情報に対応する前記ショート・ターム参照映像を用いて前記現在映像に対する動き補償を行う段階と、をさらに含むことを特徴とする請求項６に記載の動き補償方法。
11. 前記受信段階は、前記現在映像のブロック別に符号化された映像データを受信する段階を含み、
    前記残差データの復元段階は、前記ブロック別に前記残差データ及び前記動きベクトルを復元する段階を含み、
    前記現在映像の復元段階は、前記ブロック別に前記残差データ及び前記動きベクトルを用いる動き補償を行うことで前記現在映像を復元する段階を含むことを特徴とする請求項６に記載の動き補償方法。
12. インター予測装置において、
    復号ピクチャーバッファに保存されたロング・ターム参照映像を用いて現在映像に対するインター予測を行うインター予測部と、
    前記ロング・ターム参照映像のＰＯＣ情報をＭＳＢ情報とＬＳＢ情報とに分割し、前記ロング・ターム参照映像を示すロング・ターム参照インデックスとして前記ＬＳＢ情報を出力し、前記インター予測によって生成される前記現在映像の残差データ及び動きベクトルを出力する出力部と、を備えることを特徴とするインター予測装置。
13. 動き補償装置において、
    符号化された映像データ、動きベクトル及びロング・ターム参照インデックスを受信する受信部と、
    前記符号化された映像データを復号化して現在映像の残差データを復元し、前記ロング・ターム参照インデックスから前記現在映像のロング・ターム参照映像のＰＯＣ情報のＬＳＢ情報を読み取り、前記ロング・ターム参照映像のＭＳＢ情報及び前記ＬＳＢ情報を用いて前記ＰＯＣ情報を定め、復号ピクチャーバッファに保存された参照映像のうち前記定められたＰＯＣ情報に対応する前記ロング・ターム参照映像に基づいて、前記動きベクトル及び前記残差データを用いた動き補償を行って前記現在映像を復元する動き補償部と、を備えることを特徴とする動き補償装置。
14. 請求項１に記載のインター予測方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
15. 請求項６に記載の動き補償方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

Images