JP2017192157A - ビデオデータの再生状態識別のためのビデオデータの多重化方法及び装置、逆多重化方法及び装置 - Google Patents

Abstract

【課題】 ビデオ復号化装置を開示する。【解決手段】 ビデオ復号化装置は、受信したＮＡＬ単位データのヘッダから前記ＮＡＬ単位データに含まれた現在ピクチャの類型を指すＮＡＬ単位類型情報及び現在ピクチャがランダムアクセスまたは一般再生によって再生されるか否かを示すランダムアクセスフラグを獲得する逆多重化部と、前記類型情報及び前記ランダムアクセスフラグが、前記現在ピクチャが一般再生に用いられるＣＲＡピクチャであることを示す場合、復号化順序が現在ピクチャよりも以後であり、ディスプレイ順序上、現在ピクチャよりも先行するリーディングピクチャを復号化し、前記類型情報及び前記ランダムアクセスフラグが、前記現在ピクチャがランダムアクセスに用いられるＣＲＡピクチャを示す場合、前記リーディングピクチャを復号化することを省略（ｓｋｉｐ）する復号化部を含み、前記現在ピクチャは、複数の最大符号化単位に分割される。【選択図】 図１９

Description

本発明は、ビデオの符号化、復号化方法及び装置に係り、さらに詳細には、復号化側で再生されるイントラピクチャーがランダムアクセスまたは一般再生のうちいかなる再生状態であるかを識別できるように、ビデオデータを多重化／逆多重化する方法及び装置に関する。

ＩＴＵ−Ｔ Ｈ．２６１、ＩＳＯ／ＩＥＣ ＭＰＥＧ−１ Ｖｉｓｕａｌ、ＩＴＵ−Ｔ Ｈ．２６２（ＩＳＯ／ＩＥＣ ＭＰＥＧ−２ Ｖｉｓｕａｌ）、ＩＴＵ−Ｔ Ｈ．２６４、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４Ｖｉｓｕａｌ及びＩＴＵ−Ｔ Ｈ．２６４（ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ＡＶＣ）のようなビデオコーデックでは、インター予測またはイントラ予測を通じてマクロブロックを予測符号化し、符号化された映像データを各ビデオコーデックで規定された所定フォーマットによって、ビットストリームを生成して出力する。

本発明が解決しようとする技術的課題は、ランダムアクセス再生のための新たな類型のイントラピクチャーを定義する一方、復号化装置に関するハードウェアまたはソフトウェア側面で、一般再生状態とランダムアクセスによる再生状態とを識別可能にすることである。

本発明の実施形態は、所定伝送データに含まれたシンタックスを通じてイントラピクチャーの再生状態を識別可能にする。

本発明の実施形態によれば、復号化装置に関するハードウェアまたはソフトウェア側面で、一般再生状態とランダムアクセスによる再生状態とを識別できるので、復号化の不要なピクチャーの復号化にかかるシステム資源が省ける。

本発明の一実施形態によるビデオ符号化装置のブロック図である。 本発明の一実施形態によるビデオ復号化装置のブロック図である。 本発明の一実施形態による符号化単位の概念を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。 本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。 本発明の一実施形態による深度別符号化単位及びパーティションを示す図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を示す図面である。 本発明の一実施形態による深度別符号化情報を示す図面である。 本発明の一実施形態による深度別符号化単位を示す図面である。 本発明の一実施形態による符号化単位の関係を示す図面である。 本発明の一実施形態による予測単位の関係を示す図面である。 本発明の一実施形態による周波数変換単位の関係を示す図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す図面である。 本発明の一実施形態による、一般再生時のＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャーの復号化過程を説明するための図面である。 本発明の一実施形態による、ランダムアクセス時のＣＲＡピクチャーの復号化過程を説明するための図面である。 本発明の一実施形態によるビデオデータ多重化装置の構成を示す図面である。 本発明の一実施形態によるＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）単位の構成を示す図面である。 本発明の他の実施形態による、一般再生時のＣＲＡピクチャーの復号化過程を説明するための図面である。 本発明の他の実施形態による、ランダムアクセス時のＣＲＡピクチャーの復号化過程を説明するための図面である。 本発明の一実施形態によるビデオデータの多重化方法を示すフローチャートである。 本発明の一実施形態によるビデオデータ逆多重化装置の構成を示す図面である。 本発明の一実施形態によるビデオデータの逆多重化方法を示すフローチャートである。

本発明の一実施形態によるビデオデータの多重化方法は、階層的構造のデータ単位に基づいて前記ビデオデータを構成するピクチャーを符号化する段階と、復号化装置から前記符号化されたデータの伝送要請がある場合、前記伝送要請が一般再生による要請であるか、あるいはランダムアクセスのための要請であるかを判断する段階と、ランダムアクセスに用いられるイントラピクチャーとして、前記イントラピクチャーより表示順序上先立つものの、符号化順序上、前記イントラピクチャー以後に符号化されるリーディング（ｌｅａｄｉｎｇ）ピクチャーを持つイントラピクチャーを多重化した伝送単位データに、前記判断結果によって、前記イントラピクチャーが、一般再生による要請とランダムアクセスのための要請のうちいかなる要請に応じて提供されるイントラピクチャーであるかを示す所定のシンタックスを付加する段階と、を含むことを特徴とする。

本発明の一実施形態によるビデオデータの多重化装置は、階層的構造のデータ単位に基づいて前記ビデオデータを構成するピクチャーを符号化するビデオ符号化部と、復号化装置から前記符号化されたデータの伝送要請がある場合、前記伝送要請が一般再生による要請であるか、あるいはランダムアクセスのための要請であるかを判断する再生状態識別部と、ランダムアクセスに用いられるイントラピクチャーとして、前記イントラピクチャーより表示順序上先立つものの、符号化順序上、前記イントラピクチャー以後に符号化されるリーディングピクチャーを持つイントラピクチャーを多重化した伝送単位データに、前記判断結果によって、前記イントラピクチャーが、一般再生による要請とランダムアクセスのための要請のうちいかなる要請に応じて提供されるイントラピクチャーであるかを示す所定のシンタックスを付加する多重化部と、を備えることを特徴とする。

本発明の一実施形態によるビデオデータの逆多重化方法は、階層的構造のデータ単位に基づいて、前記ビデオデータを構成するピクチャーを符号化したビットストリームを多重化した伝送単位データを受信する段階と、前記伝送単位データのうちランダムアクセスに用いられるイントラピクチャーとして、前記イントラピクチャーより表示順序上先立つものの、復号化順序上、前記イントラピクチャー以後に復号化されるリーディングピクチャーを持つイントラピクチャーを多重化した伝送単位データから、前記イントラピクチャーが、一般再生状態によって復号化されたものであるか、またはランダムアクセス状態によって復号化されたものであるかを示す所定のシンタックスを獲得する段階と、前記獲得されたシンタックスに基づいて、前記イントラピクチャーが、一般再生されるピクチャーであるか、あるいはランダムアクセスピクチャーであるかを識別する段階と、を含むことを特徴とする。

本発明の一実施形態によるビデオデータの逆多重化装置は、階層的構造のデータ単位に基づいて、前記ビデオデータを構成するピクチャーを符号化したビットストリームを多重化した伝送単位データを受信し、前記伝送単位データのうち、ランダムアクセスに用いられるイントラピクチャーとして、前記イントラピクチャーより表示順序上先立つものの、復号化順序上、前記イントラピクチャー以後に復号化されるリーディングピクチャーを持つイントラピクチャーを多重化した伝送単位データから、前記イントラピクチャーが、一般再生状態によって復号化されたものであるか、またはランダムアクセス状態によって復号化されたものであるかを示す所定のシンタックスを獲得する逆多重化部と、前記獲得されたシンタックスに基づいて、前記イントラピクチャーが一般再生されるピクチャーであるか、あるいはランダムアクセスピクチャーであるかを識別する再生状態識別部と、を備えることを特徴とする。

以下、添付した図面を参照して本発明の望ましい実施形態について具体的に説明する。本発明を説明するにあたって映像は、静止画、動画を含み、ビデオとも称される。また、本発明を説明するにあたって映像フレームは、ピクチャーとも称される。

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を示す。

一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を備える。

最大符号化単位分割部１１０は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であり、横及び縦サイズが８より大きい２の二乗である正方形のデータ単位である。映像データは、少なくとも１つの最大符号化単位別に符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び深度に特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて深度別符号化単位のサイズは縮小するので、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。

前述したように符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）の映像データが深度によって階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズは、予め定されている。

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化して、少なくとも１つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化単位決定部１２０は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最小符号化誤差が発生する深度を選択して符号化深度と定める。定められた符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに少なくとも１つの符号化深度が定められる。

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されることで、符号化単位の数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であっても、それぞれのデータに対する符号化誤差を測定して下位深度への分割如何が定められる。よって、１つの最大符号化単位に含まれるデータであっても、位置によって深度別符号化誤差が異なるため、位置によって符号化深度が異なって定められる。よって、１つの最大符号化単位に対して符号化深度が１つ以上設定され、最大符号化単などのデータは、１つ以上の符号化深度の符号化単位によって区切られる。

したがって、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では深度によって階層的に定められ、他の領域に対しては独立して定められる。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して定められる。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に関する指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までのすべて分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を示す。例えば、最大符号化単位の深度が０であれば、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位ならば、深度０、１、２、３、４の深度レベルが存在するため、第１最大深度は４、第２最大深度は５に設定される。

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。

最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位に対して、予測符号化及び周波数変換を含む符号化が行われねばならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位に基づいて予測符号化及び周波数変換を説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択する。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などの段階を経るが、全段階にかけて同じデータ単位が使われてもよく、段階別にデータ単位が変わってもよい。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択する。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、これ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、これ以上分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも１つが分割されたデータ単位を含む。

例えば、サイズ２Ｎ×２Ｎ（但し、Ｎは正の定数）の符号化単位がこれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位になり、パーティションのサイズは２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高くまたは幅が対称的な割合で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなども選択的に含む。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも１つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションのみに対して行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差の最も小さな予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの周波数変換を行う。

符号化単位の周波数変換のためには、符号化単位より小さいか、または同じサイズのデータ単位に基づいて周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含む。

以下、周波数変換の基盤になるデータ単位は‘変換単位’と称される。符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、符号化単位のレジデュアルデータが、変換深度によってツリー構造による変換単位によって区切られる。

一実施形態による変換単位に対しても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在符号化単位の変換単位のサイズが２Ｎ×２Ｎならば変換深度０、変換単位のサイズがＮ×Ｎならば変換深度１、変換単位のサイズがＮ／２×Ｎ／２ならば変換深度２に設定される。すなわち、変換単位に対しても、変換深度によってツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく予測関連情報及び周波数変換関連情報が必要である。よって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位のサイズなどを定める。

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Ｌａｇｒａｎｇｉａｎ Ｍｕｌｔｉｐｌｉｅｒ）基盤の率−歪曲最適化技法（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）を用いて測定する。

出力部１３０は、符号化単位決定部１２０で定められた少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに関する情報をビットストリーム形態に出力する。

符号化された映像データは、映像のレジデュアルデータの符号化結果である。

深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

符号化深度情報は、現在深度に符号化せずに下位深度の符号化単位で符号化するかどうかを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるので、現在深度の分割情報はこれ以上下位深度に分割されないように定義される。逆に、現在符号化単位の現在深度が符号化深度でなければ、下位深度の符号化単位を用いた符号化を試みる必要があるので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではなければ、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が１つ以上存在するので、それぞれの下位深度の符号化単位ごとに繰り返して符号化が行われ、同一深度の符号化単位ごとに再帰的符号化が行われる。

１つの最大符号化単位内にツリー構造の符号化単位が定められ、符号化深度の符号化単位ごとに少なくとも１つの符号化モードに関する情報が定められねばならないので、１つの最大符号化単位に対しては、少なくとも１つの符号化モードに関する情報が定められる。また、最大符号化単などのデータは、深度によって階層的に区切られて位置別に符号化深度が異なるため、データに対して符号化深度及び符号化モードに関する情報が設定される。

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも１つに対して、該符号化深度及び符号化モードに関する符号化情報を割り当てる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれるすべての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形のデータ単位である。

例えば、出力部１３０を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に関する情報、インターモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。また、ピクチャー、スライスまたはＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダに挿入される。

最大符号化単位分割部１１０及び符号化単位決定部１２０は、映像シーケンスの各映像フレームに対して符号化単位別に動き予測及び補償を行って映像シーケンスを構成する各映像フレームの参照フレームを定め、定められた参照フレームを用いて各映像フレームを符号化するビデオ符号化階層（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）に該当する。

また、後述するように出力部１３０は、復号化器で映像フレームの復号化に必要なバッファの最大サイズを示すシンタックス（ｍａｘ＿ｄｅｃ＿ｆｒａｍｅ ｂｕｆｆｅｒｉｎｇ）、再整列の必要な映像フレームの数を示すシンタックス（ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）、及び映像シーケンスを構成する映像フレームのうち符号化順序と表示順序との差が最も大きい映像フレームの遅延（ｌａｔｅｎｃｙ）情報を示すシンタックス（ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ）を、ネットワーク抽象階層（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、以下‘ＮＡＬ’という）単位でマッピングしてビットストリームを生成する。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分したサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎならば、下位深度の符号化単位のサイズはＮ×Ｎである。また、２Ｎ×２Ｎサイズの現在符号化単位は、Ｎ×Ｎサイズの下位深度符号化単位を最大４個含む。

したがって、一実施形態によるビデオ符号化装置１００は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を定め、ツリー構造による符号化単位を構成する。また、それぞれの最大符号化単位ごとに多様な予測モード、周波数変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。

したがって、映像の解像度が非常に高いか、またはデータ量の非常に大きい映像を既存マクロブロック単位で符号化したならば、ピクチャーだマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低減する。よって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が向上する。

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を示す。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を備える。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して前述した通りである。

受信部２１０は、符号化されたビデオについてのビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出して映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャーについてのヘッダから現在ピクチャーの符号化単位の最大サイズに関する情報を抽出する。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位についての符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化可能にする。

最大符号化単位別符号化深度及び符号化モードに関する情報は、１つ以上の符号化深度情報について設定され、符号化深度別符号化モードに関する情報は、該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されることもある。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに繰り返して符号化を行って最小符号化誤差を発生させることで定められた符号化深度及び符号化モードに関する情報である。よって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元する。

一実施形態による符号化深度及び符号化モードに関する符号化情報は、該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられるので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに関する情報を抽出する。所定データ単位別に、該最大符号化単位の符号化深度及び符号化モードに関する情報が記録されているならば、同じ符号化深度及び符号化モードに関する情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含む。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行う。

また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって周波数逆変換を行う。

映像データ復号化部２３０は、深度別分割情報を用いて現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度でこれ以上分割されないことを示すならば、現在深度が符号化深度である。よって、映像データ復号化部２３０は、現在最大符号化単位の映像データについて現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化する。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、等しい分割情報を含む符号化情報を保有しているデータ単位を集めて、映像データ復号化部２３０によって同じ符号化モードで復号化する１つのデータ単位と見なす。

また、受信部２１０及び映像データ及び符号化情報抽出部２２０は、復号化器で映像フレームの復号化に必要なバッファの最大サイズを示すシンタックス（ｍａｘ＿ｄｅｃ＿ｆｒａｍｅｂｕｆｆｅｒｉｎｇ）、再整列の必要な映像フレームの数を示すシンタックス（ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）、及び映像シーケンスを構成する映像フレームのうち復号化順序と表示順序との差が最も大きい映像フレームの遅延情報を示すシンタックス（ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ）をビットストリームから獲得して、映像データ復号化部２３０に出力するＮＡＬでの復号化過程を行う。

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って最小符号化誤差を発生させた符号化単位に関する情報を獲得し、現在ピクチャーについての復号化に用いる。すなわち、最大符号化単位ごとに最適符号化単位と定められたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

したがって、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元する。

以下、図３ないし図１３を参照して本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式を詳細に説明する。

図３は、階層的符号化単位の概念を示す。

符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ６４×６４人符号化単位から３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２×１６、１６×３２、１６×１６のパーティションで、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

ビデオデータ３１０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度は３５２×２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図３に示した最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけではなく映像特性を正確に反映するために符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ３３０に比べて解像度の高いビデオデータ３１０、３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４の最大符号化単位から、２回分割しつつ深度が２階層深くなって長軸サイズが３２、１６の符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６の符号化単位から、１回分割しつつ深度が１階層深くなって長軸サイズが８の符号化単位まで含む。

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４の最大符号化単位から、３回分割しつつ深度が３階層深くなって長軸サイズが３２、１６、８の符号化単位まで含む。深度が深くなるほど詳細情報の表現能力が向上する。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を示す。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で映像データの符号化時に経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を用いてインタ推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数に出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を通じてビットストリーム４５５に出力される。特に、エントロピー符号化部４５０は、復号化器で映像フレームの復号化に必要なバッファの最大サイズを示す最大復号フレームバッファリングシンタックス（ｍａｘ＿ｄｅｃ＿ｆｒａｍｅｂｕｆｆｅｒｉｎｇ）、再整列の必要な映像フレームの数を示す再整列フレーム数シンタックス（ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）、及び映像シーケンスを構成する映像フレームの符号化順序と表示順序との差値の最大値を示す最大遅延フレームシンタックス（ＭａｘＬａｔｅｎｃｙＦｒａｍｅ）、または最大遅延フレームシンタックス（ＭａｘＬａｔｅｎｃｙＦｒａｍｅ）を定めるための最大遅延増加シンタックス（ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ）をＮＡＬ単位でマッピングしてビットストリームを生成する。特に、本発明の一実施形態によるエントロピー符号化部４５０は、復号化器で映像フレームの復号化に必要なバッファの最大サイズを示す最大復号フレームバッファリングシンタックス（ｍａｘ＿ｄｅｃ＿ｆｒａｍｅｂｕｆｆｅｒｉｎｇ）、再整列の必要な映像フレームの数を示す再整列フレーム数シンタックス（ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）、及び最大遅延フレームシンタックス（ＭａｘＬａｔｅｎｃｙＦｒａｍｅ）を定めるための最大遅延増加シンタックス（ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ）を、映像シーケンス全体の符号化に関する情報を含むヘッダ情報であるシーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、以下‘ＳＰＳ’という）に必須構成要素として含ませる。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わねばならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、周波数変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを定めねばならない。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を示す。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。特に、パージング部５１０は、ＳＰＳに必須構成要素として含まれた映像フレームの復号化に必要なバッファの最大サイズを示す最大復号フレームバッファリングシンタックス（ｍａｘ＿ｄｅｃ＿ｆｒａｍｅｂｕｆｆｅｒｉｎｇ）、再整列の必要な映像フレームの数を示す再整列フレーム数シンタックス（ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）、及び最大遅延フレームシンタックス（ＭａｘＬａｔｅｎｃｙＦｒａｍｅ）を定めるための最大遅延増加シンタックス（ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ）をビットストリームから獲得して、エントロピー復号化部５２０に出力する。図５では、パージング部５１０及びエントロピー復号化部５２０を別個の構成要素と示したが、パージング部５１０で行われる映像データの獲得、及び符号化された映像データに関する各シンタックス情報の獲得過程は、エントロピー復号化部５２０で行われるように具現されてもよい。

符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータに出力され、周波数逆変換部５４０を経て空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に用いてインターモードの符号化単位について動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経て復元された映像フレームデータは、デブロッキング部５７０を通じて後処理され、復号ピクチャーバッファであるＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）５８０に出力される。ＤＰＢ ５８０は、参照フレームの保存、映像フレームの表示順序の転換、及び映像フレームの出力のために復号化された映像フレームを保存する復号ピクチャーバッファである。ＤＰＢ ５８０は、復号化された映像フレームを保存する一方、パージング部５１０またはエントロピー復号化部５２０から出力される映像フレームの正常な復号化に必要な最大バッファサイズを示す最大復号フレームバッファリングシンタックス（ｍａｘ＿ｄｅｃ＿ｆｒａｍｅｂｕｆｆｅｒｉｎｇ）を用いて、映像シーケンスの正常な復号化に必要なバッファの最大サイズを設定する。

また、ＤＰＢ ５８０は、再整列の必要な映像フレームの数を示す再整列フレーム数シンタックス（ｎｕｍ＿ｒｅｏｒｄｅｒ＿ｆｒａｍｅｓ）、及び最大遅延フレームシンタックス（ＭａｘＬａｔｅｎｃｙＦｒａｍｅ）を定めるための最大遅延増加シンタックス（ｍａｘ＿ｌａｔｅｎｃｙ＿ｉｎｃｒｅａｓｅ）を用いて、先に復号化されて保存された参照映像フレームの出力如何を定める。具体的なＤＰＢ ５８０に保存された参照映像フレームの出力過程については、後述する。

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するため、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デ−ブルロックキングブ５７０はいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて復号化作業を行う。特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとにパーティション及び予測モードを定め、周波数逆変換部５４０は、符号化単位ごとに変換単位のサイズを定める。

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められてもよく、ユーザのニーズに応じて多様に設定されてもよい。既定された符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４、最大深度が４の場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅をそれぞれ分割する。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２の深度１の符号化単位６２０、サイズ１６×１６の深度２の符号化単位６３０、サイズ８×８の深度３の符号化単位６４０、サイズ４×４の深度４の符号化単位６５０が存在する。サイズ４×４の深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位ならば、予測単位は、サイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２×１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位かつ最下位深度の符号化単位であり、該予測単位もサイズ４×４のパーティション６５０のみで設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を定めるために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

同じ範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度１の符号化単位１つが含むデータについて、深度２の符号化単位は４つ必要である。よって、同じデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を用いてそれぞれ符号化されねばならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って深度別符号化単位の予測単位ごとに符号化を行って、該深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別代表符号化誤差を比べて最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプと選択される。

図７は、本発明の一実施形態による符号化単位及び変換単位の関係を示す。

一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中に周波数変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

例えば、一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４×６４サイズの時、３２×３２サイズの変換単位７２０を用いて周波数変換が行われる。

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位でそれぞれ周波数変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

図８は、本発明の一実施形態によって深度別符号化情報を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を符号化して伝送する。

パーティションタイプに関する情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ２Ｎ×２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか１つのタイプに分割されて用いられる。この場合、現在符号化単位のパーティションタイプに関する情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６及びサイズＮ×Ｎのパーティション８０８のうち１つを示すように設定される。

予測モードに関する情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報８１０を通じて、パーティションタイプに関する情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうちいずれか１つで予測符号化が行われるかどうかが設定される。

また、変換単位サイズに関する情報８２０は、現在符号化単位をいかなる変換単位に基づいて周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インタ変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうちいずれか１つである。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を抽出して復号化に用いる。

図９は、本発明の一実施形態による深度別符号化単位を示す。

深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるかどうかを示す。

深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２、９１４、９１６、９１８のみ例示されているが、前述したように、パーティションタイプはこれに限定されず、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

パーティションタイプごとに、１つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０×Ｎ＿０サイズのパーティション、２つのＮ＿０×２Ｎ＿０サイズのパーティション、４つのＮ＿０×Ｎ＿０サイズのパーティションごとに繰り返して予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０及びサイズ２Ｎ＿０×Ｎ＿０及びサイズＮ＿０×Ｎ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードはサイズ２Ｎ＿０×２Ｎ＿０のパーティションのみに予測符号化が行われる。

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち１つによる符号化誤差が最も小さければ、これ以上下位深度に分割する必要がない。

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しつつ分割９２０し、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０について繰り返して符号化を行って、最小符号化誤差を検索する。

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１×Ｎ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１×Ｎ＿１のパーティションタイプ９４８を含む。

また、サイズＮ＿１×Ｎ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しつつ分割９５０し、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０について繰り返して符号化を行って最小符号化誤差を検索する。

最大深度がｄの場合、深度別分割情報は深度ｄ−１の時まで設定され、分割情報は深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割９７０されて深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに繰り返して予測符号化を通じる符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、これ以上下位深度への分割過程を経ず、現在最大符号化単位９００についての符号化深度が深度ｄ−１に定められ、パーティションタイプはＮ＿（ｄ−１）×Ｎ＿（ｄ−１）に定められる。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２について分割情報は設定されない。

データ単位９９９は、現在最大符号化単位に対する‘最小単位’と称する。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。このような繰り返しの符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比べて、最小符号化誤差の発生深度を選択して符号化深度を定め、該パーティションタイプ及び予測モードが符号化深度の符号化モードと設定される。

このような形で深度０、１、…、ｄ−１、ｄのすべての深度別最小符号化誤差を比べて、誤差の最も小さな深度が選択されて符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみが‘０’と設定され、符号化深度を除いた深度別分割情報は‘１’と設定されねばならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００についての符号化深度及び予測単位に関する情報を抽出して符号化単位９１２の復号化に用いる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を用いて分割情報が‘０’の深度を符号化深度と把握し、該深度についての符号化モードに関する情報を用いて復号化に用いる。

図１０ないし図１２は、本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の関係を示す。

符号化単位１０１０は、最大符号化単位について一実施形態によるビデオ符号化装置１００が定めた符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０うちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０ならば、符号化単位１０１２、１０５４は深度が１、符号化単位１０１４、１０１６、１０１８、１０２８、１０５０、１０５２は深度が２、符号化単位１０２０、１０２２、１０２４、１０２６、１０３０、１０３２、１０４８は深度が３、符号化単位１０４０、１０４２、１０４４、１０４６は深度が４である。

予測単位１０６０のうち一部のパーティション１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４、１０２２、１０５０、１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６、１０４８、１０５２は、Ｎ×２Ｎのパーティションタイプ、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。

変換単位１０７０のうち一部１０５２の映像データについては、符号化単位に比べて小さなサイズのデータ単位で周波数変換または周波数逆変換が行われる。また、変換単位１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、予測単位１０６０のうち該予測単位及びパーティションと比べれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位についてのイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるといっても、それぞれ別個のデータ単位に基づいて行う。

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に関する分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下、表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定できる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームからツリー構造による符号化単位についての符号化情報を抽出する。

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるかどうかを示す。現在深度ｄの分割情報が０ならば、現在符号化単位が下位符号化単位にこれ以上分割されない深度が符号化深度であるので、符号化深度についてパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって１段階さらに分割されねばならない場合には、分割された４つの下位深度の符号化単位ごとに独立して符号化が行われねばならない。

予測モードは、イントラモード、インターモード及びスキップモードのうちいずれか１つで示す。イントラモード及びインターモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

パーティションタイプ情報は、予測単位の高くまたは幅が対称的な割合で分割された対称的パーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎと、非対称的な割合で分割された非対称的パーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎとを示す。非対称的パーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定される。すなわち、変換単位分割情報が０ならば、変換単位のサイズが現在符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ２Ｎ×２Ｎの現在符号化単位についてのパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはＮ×Ｎ、非対称形パーティションタイプならば、Ｎ／２×Ｎ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも１つについて割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を１つ以上含む。

したがって、隣接するデータ単位同士それぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるかどうかが確認される。また、データ単位が保有している符号化情報を用いれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

したがって、この場合、現在符号化単位が周辺データ単位を参照して予測符号化が行われる場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。

さらに他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることで、周辺符号化単位が参照されることもできる。

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を示す。

最大符号化単位１３００は、符号化深度の符号化単位１３０２、１３０４、１３０６、１３１２、１３１４、１３１６、１３１８を含む。これらのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定される。

パーティションタイプ情報が、対称形パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち１つに設定されている場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１ならば、サイズＮ×Ｎの変換単位１３４４が設定される。

パーティションタイプ情報が、非対称形パーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定された場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１ならば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

前述したように、本発明の一実施形態によるビデオ符号化装置１００及びビデオ復号化装置２００は、最大符号化単位より小さいか、または同じ符号化単位で最大符号化単位を分割して符号化及び復号化を行う。ビデオ符号化装置１００で符号化されたデータは、通信チャネルや保存メディア、ビデオ編集システム、メディアフレームワークなどが持つプロトコルやフォーマットに好適な伝送データ単位を用いて多重化され、伝送データ単位は、ビデオ復号化装置２００に伝送される。

ビデオ復号化装置２００は、ビデオデータを再生する場合、トリックプレー方式、ノーマルプレー方式のうち１つによってビデオデータを復元して再生する。トリックプレー方式は、一般再生（ｎｏｒｍａｌ ｐｌａｙ）方式、ファスト・フォワード（ｆａｓｔ ｆｏｒｗａｒｄ）方式、またはファストバックワード方式（ｆａｓｔ ｂａｃｋｗａｒｄ）方式及びランダムアクセス（ｒａｎｄｏｍ ａｃｃｅｓｓ）方式を含む。一般再生方式は、ビデオデータに含まれたすべてのピクチャーを順次に処理して再生する方式である。ファストフォワードまたはファストバックワード方式は、再生速度によって巡行または逆行し、所定周期ごとの基準ピクチャー、すなわち、Ｉピクチャーを選択して再生する方式である。ランダムアクセス方式は、所定位置のキーピクチャー、すなわち、Ｉピクチャーに飛ばして再生を行う方式である。Ｈ．２６４規格によれば、ランダムアクセスのためのキーピクチャーとして、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）ピクチャーを用いる。ＩＤＲピクチャーは、該ピクチャーを復号化する瞬間に復号化装置をリフレッシュするイントラピクチャーである。具体的に、ＩＤＲピクチャーが復号化される瞬間にＤＰＢは、ＩＤＲピクチャーを除いた以前に復号化されたピクチャーを、これ以上参照されないピクチャーとマーキングし、ＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）も初期化される。また、ＩＤＲピクチャー以後に復号化されるピクチャーは、表示順序上ＩＤＲピクチャーより常に後にあり、ＩＤＲピクチャー以前のピクチャーを参照せずに復号化される。

本発明の一実施形態によれば、このようなＩＤＲピクチャー以外に、ランダムアクセスのためのキーピクチャーとしてＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャーを用いる。ＣＲＡピクチャーは、ＣＤＲ（Ｃｌｅａｎ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャーまたはＤＤＲ（Ｄｅｆｅｒｒｅｄ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャーと呼ばれてもよい。ＣＲＡピクチャーは、イントラピクチャーであり、表示順序上先立つものの、符号化（または復号化）順序上ＣＲＡピクチャーより遅く符号化（または復号化）されるピクチャーを持つイントラピクチャーを示す。以下の説明で、ＣＲＡピクチャーと同じＧＯＰ内のピクチャーとして、ＣＲＡピクチャーより表示順序上先立つものの、符号化（または復号化）順序上ＣＲＡピクチャーより遅く符号化（または復号化）されるピクチャーを、リーディング（ｌｅａｄｉｎｇ）ピクチャーと定義する。

ＩＤＲピクチャー及びＣＲＡピクチャーはいずれも、他のピクチャーを参照せずに符号化（復号化）されるイントラピクチャーであり、ランダムアクセスのためのキーピクチャーであるという点で共通するが、ＩＤＲピクチャーは、符号化（復号化）順序上後行のピクチャーが表示順序上ＩＤＲピクチャーを先立つ場合はないが、前述したようにＣＲＡピクチャーは、符号化（復号化）順序上後行するものの、表示順序上先立つリーディングピクチャーが存在する。復号化順序及び符号化順序は、それぞれ復号化側及び符号化側を基準とするピクチャーの処理順序を意味し、ピクチャーの符号化順序は復号化順序と同一である。よって、以下で本発明を説明するにあたって、符号化順序では復号化順序を意味し、また復号化順序も符号化順序を意味する。

図１４Ａ及び図１４Ｂは、本発明の一実施形態によって、一般再生及びランダムアクセス時のＣＲＡピクチャーの復号化過程を説明するための図面である。図１４Ａ及び図１４Ｂで、Ｂｉ及びｂｉは、Ｌ０予測及びＬ１予測を用いて予測される双方向（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ）ピクチャーであり、ｉは表示順序、すなわち、ＰＯＣを示す。また、大文字に表示されたＢｉは、他のピクチャーの参照ピクチャーとして用いられるピクチャーを示し、小文字に表示されたｂｉは、他のピクチャーの参照ピクチャーとして用いられないピクチャーを示す。

図１４Ａを参照すれば、一般再生時、すなわち、すべてのピクチャーを復号化して再生する場合、ＣＲＡ_２４ピクチャー１４１０以後に復号化されるリーディングピクチャー１４２０は、以前に復号化された参照ピクチャーを参照して正常に復号化される。例えば、Ｂ_２２ピクチャー１４２１がＢ_１８ピクチャー１４０１を参照するＬ０予測、及びＣＲＡ_２４ピクチャー１４１０を参照するＬ１予測を用いて双方向予測されたとする時、一般再生時にＢ_２２ピクチャー１４２１は、以前に復号化されてＤＰＢ１４３０に保存されたＣＲＡ_２４ピクチャー１４１０及びＢ_１８ピクチャー１４０１を参照して正常に復号化される。

図１４Ｂを参照すれば、Ｂ_６ピクチャー１４０２の復号化以後にランダムアクセスを通じてＣＲＡ_２４ピクチャー１４１０の復号化が開始された場合、Ｂ_２２ピクチャー１４２１の予測のためのＬ０予測は、Ｌ０方向の参照ピクチャーインデックスに基づいて参照ピクチャーを定める。この場合、以前に復号化されてＤＰＢ １４４０に保存されたＢ_６ピクチャー１４０２が、Ｂ_２２ピクチャー１４２１のＬ０予測のための参照ピクチャーと定められる。この場合、Ｂ_２２ピクチャー１４２１のＬ０予測のための参照ピクチャーは、Ｂ_１８ピクチャー１４０１にならねばならないにもかかわらず、ランダムアクセスによって、Ｂ_６ピクチャー１４０２とＣＲＡ_２４ピクチャー１４１０との間の参照ピクチャーを参照するピクチャーは、正常に復号化されない。

また、再び図１４Ａを参照すれば、リーディングピクチャー１４２０は、表示順序上ＣＲＡ_２４ピクチャーより先に表示されるピクチャーであるので、ランダムアクセスを通じてＣＲＡ_２４ピクチャー１４１０が復号化されて表示された以後には、リーディングピクチャー１４２０は表示されないため、復号化される必要もない。

しかし、ビデオ復号化装置２００の立場では、入力されたビデオデータを順次に復号化して出力することに過ぎないため、リーディングピクチャー１４２０が一般再生で、ＣＲＡ_２４ピクチャー１４１０以後に復号化されるピクチャーであるか、またはランダムアクセスによってＣＲＡ_２４ピクチャー１４１０以後に復号化されるピクチャーであるかが識別できない。言い換えれば、ビデオ復号化装置２００の立場では、ＣＲＡ_２４ピクチャー１４１０がランダムアクセスによって復号化されるピクチャーであるか、または一般再生によって復号化されるピクチャーであるかを区別できない。

したがって、本発明の実施形態は、ＣＲＡピクチャーがランダムアクセスによって復号化されるピクチャーであるか、または一般再生によって復号化されるピクチャーであるかを区別するように符号化されたＣＲＡピクチャーを多重化した所定伝送単位データに、ＣＲＡピクチャーの復号化状態を識別するためのシンタックスを加える多重化方式及び逆多重化方式を提供する。

先ず、本発明の一実施形態によるビデオデータの多重化方法及び装置について説明する。

図１５は、本発明の一実施形態によるビデオデータ多重化装置の構成を示す図面である。図１５を参照すれば、一実施形態によるビデオデータ多重化装置１５００は、ビデオ符号化部１５１０、多重化部１５２０及び再生状態識別部１５３０を備える。

ビデオ符号化部１５１０は、前述した図１の映像符号化装置１００に対応するものであり、ビデオデータの符号化処理自体を取り扱うビデオ符号化階層（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ）で、前述した階層的符号化単位に基づいてビデオデータを符号化する。多重化部１５２０は、通信チャネルや保存メディア、ビデオ編集システム、メディアフレームワークなどが持つプロトコルや保存フォーマットに好適な伝送データ単位を用いて、ビデオデータを多重化する。後述するように、多重化部１５２０は、ＮＡＬでの伝送単位であるＮＡＬ単位を用いて、ビデオデータを多重化する。

再生状態識別部１５３０は、通信チャネルを通じて連結されたクライアント、保存メディアを管理する装置、ビデオ編集システム、メディアフレームワーク（以下、“復号化装置”と総称する）などで符号化されたビデオデータに関する伝送要請がある場合、このような伝送要請が一般再生によって提供されるビデオデータを順次に再生するための場合であるか、またはランダムアクセスのためのビデオデータの伝送要請であるかを識別する。再生状態識別部１５３０は、復号化装置から要請されたピクチャーの表示時間と、現在復号化装置で表示されるピクチャーの表示時間とを比べて、ビデオデータの伝送要請がランダムアクセスによるビデオデータの伝送要請であるかどうかを識別できる。

多重化部１５２０は、再生状態識別部１５３０の判断結果に基づいて、ランダムアクセスのためのキーピクチャーであるＣＲＡピクチャーに関する情報を含むＮＡＬ単位に、一般再生による要請とランダムアクセスのための要請のうちいかなる要請に応じて提供されるＣＲＡピクチャーであるかを示す所定のシンタックスを加える。

図１６は、本発明の一実施形態によるＮＡＬ単位の構成を示す図面である。図１６を参照すれば、ＮＡＬ単位１６００は、ＮＡＬヘッダ１６１０及びＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）１６２０の２つの部分で構成される。ＲＢＳＰ充填ビット１６３０は、ＲＢＳＰ １６２０の長さを８ビットの倍数で表現するために、ＲＢＳＰ １６２０の最後に付け加えた長さ調節用ビットである。ＲＢＳＰ充填ビット１６３０は、‘１’から始まった後、ＲＢＳＰ １６２０の長さによって定められる連続的な‘０’で構成されて‘１００…’のようなパターンを持ち、最初のビット値である‘１’を検索することで、その直前にあるＲＢＳＰ １６２０の最後のビット位置を定める。

ＮＡＬヘッダ１６１０には、０の値を持つｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔ１６１１以外に、該ＮＡＬ単位１６００が参照ピクチャーとなるスライスが含まれているかどうかを示すフラッグ（ｎａｌ＿ｒｅｆ＿ｉｄｃ）などを含む。特に、一実施形態によるＮＡＬヘッダ１６１０には、前述したＣＲＡピクチャーに関する情報を含むＮＡＬ単位に、一般再生による要請とランダムアクセスのための要請のうちいかなる要請に応じて提供されるＣＲＡピクチャーであるかを示す状態識別シンタックス１６１２が含まれる。

このようなＣＲＡピクチャーの再生状態を識別するための状態識別シンタックス１６１２は、ＮＡＬ単位１６００の類型を示す識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）に含まれる。すなわち、一般再生による要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位、及びランダムアクセスのための要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位が、互いに異なる類型の識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）を持つように設定される。

表２は、識別子（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値によってＮＡＬ単位１６００の種類を示す一例である。

一実施形態による多重化部１５２０は、一般再生による要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位、及びランダムアクセスのための要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位に、表２のように識別子（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）としてそれぞれ４、５の互いに異なる値を割り当てることで、ＣＲＡピクチャーに関する情報を持つＮＡＬ単位が、一般再生によって提供されるＣＲＡピクチャー及びランダムアクセスによって提供されるＣＲＡピクチャーののうちどちらかをシグナリングする。

また多重化部１５２０は、ＮＡＬ単位のヘッダに加えられるシンタックスとして、一般再生による要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位、及びランダムアクセスのための要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位が、それぞれ０または１のうちいずれか１つの互いに異なる値を持つように設定されたフラッグを用いる。

図１７Ａ及び図１７Ｂは、本発明の他の実施形態によって一般再生及びランダムアクセス時のＣＲＡピクチャーの復号化過程を説明するための図面である。

一実施形態による多重化部１５２０は、ＮＡＬ単位にＣＲＡピクチャーの再生状態を直接的に知らせる類型情報を加えた。他の実施形態による多重化部１５２０は、ＣＲＡピクチャーの再生状態類型を直接的にシグナリングする代りに、ＣＲＡピクチャー以前に復号化されたキーピクチャーのカウンタと、復号化順序上ＣＲＡピクチャーより先立ちつつ、リーディングピクチャーの参照ピクチャーとして用いられるピクチャーのＰＯＣに関する情報とを用いて、ＣＲＡが一般再生状態であるか、またはランダムアクセスによって再生される状態であるかを識別可能にする。

図１７Ａ及び図１７Ｂを参照すれば、ＣＲＡ_４４ピクチャー以前に復号化されるピクチャーとして、リーディングピクチャーであるｂ_４１、Ｂ_４２、ｂ_４３ピクチャーが参照するＢ_３８ピクチャー１７１０、Ｂ_４０ピクチャー１７２０が存在する。Ｂ_３８ピクチャー１７１０は、リーディングピクチャーであるＢ_４２ピクチャーによって参照され、Ｂ_４０ピクチャー１７２０は、リーディングピクチャーであるｂ_４１によって参照される。このようなＣＲＡピクチャーより復号化順序上先立ちつつ、リーディングピクチャーの参照ピクチャーとして用いられるＢ_３８ピクチャー１７１０、Ｂ_４０ピクチャー１７２０を、兄弟ピクチャー（ｂｒｏｔｈｅｒ ｐｉｃｔｕｒｅ）と定義する。このような兄弟ピクチャー（ｂｒｏｔｈｅｒ ｐｉｃｔｕｒｅ）を定義する理由は、兄弟ピクチャーのＰＯＣを用いてＣＲＡピクチャーが一般再生状態であるか、またはランダムアクセスによる再生状態であるかを識別できるからである。

例えば、図１７Ａを参照すれば、一般再生状態でピクチャーが順次に復号化されるにつれて、ＣＲＡ_４４ピクチャーの復号化時点で、以前に復号化されたＢ_３８ピクチャー１７１０、Ｂ_４０ピクチャー１７２０がＤＰＢ １７４０に保存される。もし、ＣＲＡ_４４ピクチャーのスライスヘッダに兄弟ピクチャーであるＢ_３８ピクチャー１７１０のＰＯＣ値３８と、Ｂ_４０ピクチャー１７２０のＰＯＣ値である４０とが加えられならば、復号化側では、ＣＲＡ_４４ピクチャーの復号化時点で、ＤＰＢ １７４０に以前に復号化されて保存されたピクチャーのＰＯＣと、ＣＲＡ_４４ピクチャーのスライスヘッダに含まれている兄弟ピクチャーのＰＯＣとを比べて、ＣＲＡ_４４ピクチャーがランダムアクセスによって再生されるピクチャーであるか、あるいは一般再生によって再生されるピクチャーであるかを識別できる。なぜならば、ランダムアクセスによる再生の場合、ＣＲＡ_４４ピクチャーに再生順序、すなわち、復号化順序をジャンプするため、もしＣＲＡ_４４ピクチャーの復号化時点で、ＤＰＢ １７４０に保存された以前に復号化されたピクチャーのＰＯＣが兄弟ピクチャーのＰＯＣではない場合、現在ＣＲＡ_４４ピクチャーは、ランダムアクセスによるピクチャーである可能性が大きいからである。

但し、このような兄弟ピクチャーのＰＯＣ情報のみでは、現在ＣＲＡ_４４ピクチャーがランダムアクセスによるピクチャーであるか、または一般再生によって再生されるピクチャーであるかを混同する場合が発生する恐れがある。

例えば、図１７Ｂを参照すれば、Ｂ_４０ピクチャー１７４５を復号化した後でランダムアクセスによってＣＲＡ_４４ピクチャーが復号化される場合、ＣＲＡ_４４ピクチャーの復号化時点で、ＤＰＢ １７８０にはＢ_４０ピクチャー１７４５のＰＯＣ値である４０が保存されており、復号化側では、ＣＲＡ_４４ピクチャーのスライスヘッダに含まれた兄弟ピクチャーのＰＯＣ値である４０と、ＤＰＢに保存された以前ピクチャーのＰＯＣ値とが同一であるので、現在ＣＲＡ_４４ピクチャーを一般再生によって再生されるピクチャーと見損なう。このように兄弟ピクチャーのＰＯＣ情報のみではＣＲＡピクチャーの再生状態を正確に識別できない理由は、ＩＤＲピクチャーを復号化する度にＰＯＣがリセットされるため、ランダムアクセス時に兄弟ピクチャーが参照する実際参照ピクチャーとは異なる参照ピクチャーが、兄弟ピクチャーのＰＯＣと同じＰＯＣを持つ場合が発生するからである。

したがって、他の実施形態による多重化部１５２０は、ＣＲＡピクチャーの伝送単位データのシンタックスに兄弟ピクチャーのＰＯＣ情報だけではなく、ＣＲＡピクチャーより以前のピクチャーを符号化する過程中にＰＯＣがリセットされるか、またはＣＲＡピクチャーを符号化する度に１ずつ増加する値を持つカウンタであるＰＤＣ（ＰＯＣ ｄｉｓｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒ）を獲得し、ＰＤＣをＣＲＡピクチャーの伝送単位データのシンタックスに加える。

再び図１７Ａを参照すれば、前述したように多重化部１５２０は、ピクチャーを符号化する過程で、ＰＯＣがリセットされるか、またはＣＲＡピクチャーを符号化する度にＰＤＣを１ずつ増加させる。ＩＤＲピクチャーが符号化される度にＰＯＣはリセットされるので、ＩＤＲピクチャーを符号化する度にＰＤＣの値が１ずつ増加し、現在ＣＲＡ_４４ピクチャーを除いた以前のＣＲＡピクチャーを符号化する時にもＰＤＣの値が１ずつ増加する。多重化部１５２０は、このようなＰＤＣ値を、兄弟ピクチャーのＰＯＣと共にＣＲＡピクチャーの伝送単位データのヘッダ１７４０に加える。復号化側では、符号化側と同様に、入力された伝送単位データを復号化する過程で、ＰＯＣがリセットされるか、すなわち、ＩＤＲピクチャーを復号化するか、またはＣＲＡピクチャーを復号化する度にＰＤＣを１ずつ増加させる。図１７Ａに示したように、一般再生の場合、ＣＲＡ_４４ピクチャーを復号化する時点でＣＲＡ_４４ピクチャーを多重化した伝送単位データのヘッダ１７３０に含まれたＰＤＣ値と、復号化側でピクチャーを復号化する過程でカウントしたＰＤＣ値１７４５とはいずれも３と同一になる。

再び図１７Ｂを参照すれば、ランダムアクセス時にＣＲＡ_４４ピクチャー以前に復号化されたＩＤＲピクチャーが１個、ＣＲＡピクチャーが１個のみ存在するので、ランダムアクセスによってＣＲＡ_４４ピクチャーが復号化される時点でＰＤＣ値１７８５は２の値を持ち、これは、ＣＲＡ_４４ピクチャーを多重化した伝送データヘッダ１７７０に含まれているＰＤＣ値である３と異なる。よって、復号化側では、このようなＰＤＣ値の不一致に基づいて、現在ＣＲＡピクチャーがランダムアクセスによって再生されるピクチャーであると判断する。

図１８は、本発明の一実施形態によるビデオデータの多重化方法を示すフローチャートである。図１８を参照すれば、段階１８１０でビデオ符号化部１５１０は、階層的構造のデータ単位に基づいて、ビデオデータを構成するピクチャーを符号化する。前述したように、ビデオ符号化部１５１０は、ビデオを構成するピクチャーを最大サイズの符号化単位に分割した少なくとも１つの最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を定め、前記符号化深度の符号化単位ごとに予測符号化のためのパーティションを定め、階層的構造の変換単位に基づいて変換を行ってツリー構造による変換単位を定める。このような階層的データ単位の決定は、ＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）コストに基づいて最適の階層的データ単位の構造が定められる。

段階１８２０で、再生状態識別部１５３０は、復号化装置から符号化されたデータの伝送要請がある場合、伝送要請が一般再生による要請であるか、またはランダムアクセスのための要請であるかを判断する。前述したように復号化装置は、符号化されたビデオデータを保存、または再生、編集する装置を総称するものであり、通信チャネルを通じて連結されたクライアント、保存メディアを管理する装置、ビデオ編集システム、メディアフレームワークなどである。

段階１８３０で、多重化部１５２０は、リーディングピクチャーを持つイントラピクチャーであるＣＲＡピクチャーを多重化した伝送単位データに、段階１８２０の判断結果によって、イントラピクチャーが、一般再生による要請とランダムアクセスのための要請のうちいかなる要請に応じて提供されるＣＲＡピクチャーであるかを示す所定のシンタックスを加える。前述したように、リーディングピクチャーは、ＣＲＡピクチャーより表示順序上先立つものの、符号化順序上ＣＲＡピクチャー以後に符号化されるピクチャーを意味する。また、伝送単位データは、ＮＡＬデータ単位である。また、多重化部１５２０は、ＮＡＬ単位の類型を示す識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）に、一般再生による要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位、及びランダムアクセスのための要請に応じて提供されるイントラピクチャーを多重化したＮＡＬ単位が互いに異なる類型の識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）を持つように、ＮＡＬ単位のヘッダに識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）を加える。また、多重化部１５２０は、一般再生による要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位であるか、またはランダムアクセスのための要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位であるかによって、ＮＡＬ単位のヘッダに０または１の値を持つフラッグを加える。また、多重化部１５２０は、ピクチャーの多重化過程でＰＯＣがリセットされるか、またはＣＲＡピクチャーを符号化する度に１ずつ増加するＰＯＣ不連続カウンタ（ＰＯＣ ｄｉｓｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒ）を獲得し、ＣＲＡピクチャーの兄弟ピクチャーのＰＯＣ情報及びＰＯＣ不連続カウンタをＮＡＬ単位のヘッダに加える。

図１９は、本発明の一実施形態によるビデオデータ逆多重化装置の構成を示す図面である。図１９を参照すれば、一実施形態によるビデオデータ逆多重化装置１９００は、ビデオ復号化部１９１０、逆多重化部１９２０及び再生状態識別部１９３０を備える。

逆多重化部１９２０は、図１５のビデオデータ多重化装置１５００から伝送された伝送単位データ、すなわち、ＮＡＬ単位データを受信し、ＮＡＬ単位データのうちＣＲＡピクチャーを多重化したＮＡＬ単位データから、ＣＲＡピクチャーが一般再生状態によって復号化されたものであるか、またはランダムアクセス状態によって復号化されたものであるかを示すシンタックスを獲得する。

再生状態識別部１９３０は、Ｃ獲得されたシンタックスを用いて、ＣＲＡピクチャーが一般再生状態のＣＲＡピクチャーであるか、またはランダムアクセスによる再生状態であるかを判断する。

前述したように、ＮＡＬ単位の類型を示す識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）に、一般再生による要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位、及びランダムアクセスのための要請に応じて提供されるイントラピクチャーを多重化したＮＡＬ単位が、互いに異なる類型の識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）を持つように設定された場合、再生状態識別部１９３０は、このような識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）の値を通じて現在ＣＲＡピクチャーの復号化状態が分かる。もし、一般再生による要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位であるか、またはランダムアクセスのための要請に応じて提供されるＣＲＡピクチャーを多重化したＮＡＬ単位であるかによって、ＮＡＬ単位のヘッダに０または１の値を持つフラッグを加えた場合、再生状態識別部１９３０は、このようなフラッグ情報から現在ＣＲＡピクチャーの復号化状態が分かる。

また、ＰＯＣ不連続カウンタ及び兄弟ピクチャーのＰＯＣ情報がＮＡＬ単位ヘッダに含まれた場合、再生状態識別部１９３０は、以前ピクチャーの復号化過程でＩＤＲピクチャーまたはＣＲＡピクチャーを復号化する度にＰＤＣを増加させ、現在ＣＲＡピクチャーの復号化時点でＮＡＬ単位のヘッダから獲得されたＰＤＣと、復号化過程でカウントされたＰＤＣとの同一性如何を判断する。また、再生状態識別部１９３０は、ＮＡＬ単位のヘッダに含まれたＣＲＡピクチャーの兄弟ピクチャーのＰＯＣ値と、現在ＣＲＡピクチャーの復号化時点でＤＰＢに保存された以前ピクチャーのＰＯＣ値との同一性如何を判断する。もしＰＤＣや兄弟ピクチャーのＰＯＣ値のうちいずれか１つでも一致しない場合、再生状態識別部１９３０は、現在ＣＲＡピクチャーをランダムアクセスによって再生されるピクチャーと判断し、ＰＤＣと兄弟ピクチャーのＰＯＣ値との同一性が満たされる場合、現在ＣＲＡピクチャーを一般再生によって再生されるピクチャーと判断する。もし、現在ＣＲＡピクチャーがランダムアクセスによって再生されるピクチャーである場合、現在ＣＲＡピクチャーのリーディングピクチャーは復号化される必要がないので、再生状態識別部１９３０は、現在ＣＲＡピクチャー以後のリーディングピクチャーの復号化が不要であるということをビデオ復号化部１９１０に通知する。

ビデオ復号化部１９１０は、図２の映像復号化装置２００または図５の映像復号化装置５００に対応するものであり、ビデオ復号化部１９１０は、ＮＡＬ単位から符号化された映像データ及び符号化されたデータの生成に用いられた符号化単位に関する分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報、符号化過程に関するパラメータセット情報を獲得して復号化を行う。

図２０は、本発明の一実施形態によるビデオデータの逆多重化方法を示すフローチャートである。図２０を参照すれば、段階２０１０で逆多重化部１９２０は、階層的構造のデータ単位に基づいて、ビデオデータを構成するピクチャーを符号化したビットストリームを多重化した伝送単位データを受信する。前述したように、伝送単位データはＮＡＬ単位データである。

段階２０２０で、逆多重化部１９２０は、ＮＡＬ単位データのうちＣＲＡピクチャーを多重化したＮＡＬ単位データから、ＣＲＡピクチャーが一般再生状態によって復号化されたものであるか、またはランダムアクセス状態によって復号化されたものであるかを示す所定のシンタックスを獲得する。

段階２０３０で、再生状態識別部１９３０は、獲得されたシンタックスに基づいて、ＣＲＡピクチャーが一般再生されるピクチャーであるか、あるいはランダムアクセスピクチャーであるかを識別する。前述したように、ＮＡＬ単位のヘッダに、識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）を通じてＣＲＡピクチャーの復号化状態をシグナリングする場合、再生状態識別部１９３０は、このような識別子（ｎａｌ ｕｎｉｔ ｔｙｐｅ）の値を通じて現在ＣＲＡピクチャーの復号化状態が分かる。もし、ＮＡＬ単位のヘッダに０または１の値を持つフラッグが加えられた場合、再生状態識別部１９３０は、このようなフラッグ情報から現在ＣＲＡピクチャーの復号化状態が分かる。また、ＰＯＣ不連続カウンタ（ＰＯＣ ｄｉｓｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒ）及び兄弟ピクチャーのＰＯＣ情報がＮＡＬ単位ヘッダに含まれた場合、再生状態識別部１９３０は、復号化過程で獲得されたＰＤＣカウンタ及びＤＰＢに保存された以前ピクチャーのＰＯＣ値と、ＮＡＬ単位ヘッダに含まれたＰＤＣカウンタ及び兄弟ピクチャーのＰＯＣとの同一性如何を判断して、現在ＣＲＡピクチャーの復号化状態が分かる。

ＣＲＡピクチャーがランダムアクセスによる再生状態であると判断された場合、ＣＲＡピクチャーのリーディングピクチャーは表示されないため復号化される必要がない。本発明の実施形態によれば、このようなランダムアクセス状態で再生されるＣＲＡピクチャーを識別し、ＣＲＡピクチャーのリーディングピクチャーについての復号化を行わないことで復号化側のシステム資源を省く。

本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるすべての記録装置を含む。コンピュータで読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードとして保存されて実行される。

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現できるということを理解できるであろう。本発明の範囲は、前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は本発明に含まれていると解釈されねばならない。

１９００ ビデオデータ逆多重化装置
１９１０ ビデオ復号化部
１９２０ 逆多重化部
１９３０ 再生状態識別部

Claims (2)

1. ネットワーク抽象階層(Network Abstraction Layer:NAL)における伝送単位であるＮＡＬ単位データを受信し、前記ＮＡＬ単位データのヘッダから前記NAL単位データに含まれた現在ピクチャの類型を指すＮＡＬ単位類型(Network Adaptive Layer unit type:NAL unit type)情報及び現在ピクチャがランダムアクセスまたは一般再生によって再生されるか否かを示すランダムアクセスフラグを獲得する逆多重化部と、
   前記類型情報及び前記ランダムアクセスフラグが、前記現在ピクチャが一般再生に用いられるＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャであることを示す場合、復号化順序が現在ピクチャよりも以後であり、ディスプレイ順序上、現在ピクチャよりも先行するリーディングピクチャを復号化し、
   前記類型情報及び前記ランダムアクセスフラグが、前記現在ピクチャがランダムアクセスに用いられるＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャを示す場合、前記リーディングピクチャを復号化することを省略（ｓｋｉｐ）する復号化部を含み、
   前記現在ピクチャは、複数の最大符号化単位に分割されることを特徴とするビデオ復号化装置。
2. ネットワーク抽象階層(Network Abstraction Layer: NAL)における伝送単位であるＮＡＬ単位データを受信する段階と、
   前記ＮＡＬ単位データのヘッダから前記ＮＡＬ単位データに含まれた現在ピクチャの類型を指すＮＡＬ単位類型(Network Adaptive Layer unit type:NAL unit type)情報及び現在ピクチャがランダムアクセスまたは一般再生によって再生されるか否かを示すランダムアクセスフラグを獲得する段階と、
   前記類型情報及び前記ランダムアクセスフラグが、前記現在ピクチャが一般再生に用いられるＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャであることを示す場合、復号化順序が現在ピクチャよりも以後であり、ディスプレイ順序上、現在ピクチャよりも先行するリーディングピクチャを復号化する段階と、
   前記類型情報及び前記ランダムアクセスフラグが、前記現在ピクチャがランダムアクセスに用いられるＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャを示す場合、前記リーディングピクチャを復号化することを省略（ｓｋｉｐ）する段階とを含み、
   前記現在ピクチャは、複数の最大符号化単位に分割されることを特徴とするビデオ復号化方法。

Images