JP2005534216A - 符号化されたオーディオビジュアルデータとは別個に符号化パラメータを記憶又は伝送するための方法及び装置 - Google Patents

Abstract

圧縮パラメータセットはメインＡＶとは別個のファイルに記憶されるか又は別個にすなわちＡＶデータの後続する伝送の前に伝送される。パラメータセット識別子のスコープは１つ以下のプログラムチェーンに制限されている。既存のファイルが直接圧縮パラメータセットを含むことによって拡張されるか又は圧縮パラメータセットを含む別個のファイルが生成される。コンパウンドコンテントの容易なオーサリングをサポートするために、各圧縮パラメータセット又はこのようなパラメータセットのグループをスコープ期間情報によって修正することが提案され、このスコープ期間情報はタイムスタンプ、ファイルネーム又はディスク上のセクタ番号に基づく。付加的に間接参照機構を使用することが提案され、この場合、パラメータセット識別子は二次テーブルを参照し、二次テーブルのエントリはそれ自体が今度はかつて設けられた共通パラメータセットテーブルのエントリを参照する識別子であるように定義される。

Description

本発明は、符号化されたオーディオビジュアルデータとは別個に符号化パラメータを記憶又は伝送するための方法及び装置に関する。

背景
オーディオビジュアル（ＡＶ）データ圧縮の分野では、技術トレンドはますますパラメータ指向記述に向かっている。符号化の視点から見れば、一般に圧縮パラメータは、いくつかの可能なモードのうちのどのモードにおいてエンコーダ入力（ＡＶデータ）の一定の部分を処理すべきかということを規定する。同様に、復号化の視点から見れば、これらの同じ圧縮パラメータは、いくつかの可能な規則のうちのどの規則に従って所与の圧縮されたビットストリームのセクションがＡＶデータの一部に逆変換されるべきかということを指定する。圧縮パラメータは異なる性質を持ちうる。すなわち、画像をスライスに細分化する圧縮スキームを仮定すると、これらの圧縮パラメータは「グローバルパラメータ（ＧＰ）」、「ピクチャレイヤパラメータ（ＰＬＰ）」及び「スライスレイヤパラメータ（ＳＬＰ）」である。ＧＰは大抵は一定であると予期される。というのも、ＧＰは画像サイズ又は色空間のようなパラメータを表すからである。しかし、ＧＰはＧＯＰのようなランダムアクセスユニットのスタート時に変更されうる。それゆえ、複数の異なるＧＰセットのうちの小さいセットがＡＶビットストリームの中から参照される。ＰＬＰは、より頻発にパーピクチャ（per-picture）ベースで最大限に変更されうるパラメータを表す。よって、各々符号化された画像はこのようなＰＬＰの潜在的に比較的大きいセットの中から一つを参照する。同様に、複数の異なるＳＬＰは符号化された画像内の符号化された各々のスライスによって参照されうる。ＧＰは大抵の場合圧縮されている特定のＡＶマテリアルの性質によって予め定められるが、ＰＬＰ及びＳＬＰはエンコーダ最適化の部分として自由に選択されうることが予期される。後者については、選択は符号化エラーか又は圧縮ビットレートかのいずれか又はこれら両方を数量化するなんらかの圧縮効率尺度に基づくだろう。上記の技術はＨ．２６Ｌ又はＪＶＴコーデックとしても周知の開発中のＭＰＥＧ‐４Ｐａｒｔ１０において使用される。

本発明
本発明は以下の事実の認識に基づいている。

圧縮パラメータを規定し適切に選択することに加えて、これらの圧縮パラメータ自体が有意義な復号化を可能にするために大抵の場合ＡＶデータ本体と共に伝送又は記憶されなければならない。この課題は各々アプリケーション領域毎に別個に取り組む必要があり、その点で圧縮パラメータの伝送又は記憶はいくつかの部分的には矛盾する要求を満たさなくてはならない。

・コンパクト性
グローバルならびにローカルレベルにおいて圧縮パラメータ記述はコンパクトであり続けなければならず、この結果、ＡＶプラスパラメータに対して必要とされる全バンド幅はパラメータ化されたアプローチによって達成される圧縮効率におけるいかなるゲインも上回らない。これは圧縮パラメータにあるどんな不必要な繰り返し又は他の冗長性をも回避するという強いモチベーションを含んでいる。その結果、符号化された画像又はスライスからパラメータセットへのインデクシング機構は、コンパクト性という目標に到達するためにアドレス指定されうる各タイプのパラメータセットの個数を制限することになる。従って、２つの異なるパラメータセットが同一のパラメータセット識別子（数値又は他のラベル）によって識別される可能性があるかどうか又はいつそのような可能性があるのかが指定されなければならない。言い換えれば、パラメータセット識別子に対するネームスコープが確定される必要がある。

・復号可能性
非連続的なランダムなやり方でアクセスされがちであるとりわけ記憶媒体におけるＡＶデータに関して、全ての必要とされる圧縮パラメータがビットストリームを入力及び復号化する際にそのエントリポイントにおいて利用可能にされていることをなんらかのパラメータセットアロケーションスキームが保証しなくてはならない。これはなんらかの種類のトリックプレイの重要なケースを含み、一定の制御された形態のデータ冗長性を許容することを必然的に伴うだろう。

・コンパチビリティ
光学的記憶のためのＤＶＤのような既存の規格の拡張をデザインする場合、できるだけ多くのよく理解されている確立されたシステムコンセプトを維持することが望ましい。これを考慮に入れるソリューションは標準化プロセスにおいて好意的に判断されるだろう。

それゆえ、本発明によって解決されるべき問題は、アプリケーション領域で使用される論理構造に対してビットレート及びコンパチビリティにおいて最適化された圧縮パラメータセットを記憶／伝送することである。

この課題は、請求項１記載の方法によって解決される。この方法を利用する装置は請求項９に記載されている。相応の復号化方法及び装置は請求項１０及び１１においてそれぞれ請求されている。

本発明の方法によれば、多数の圧縮パラメータセットが使用される符号化されたデータ内から参照される。圧縮パラメータセットはメインＡＶストリームを含むファイル又はストリームに一意的に関連付けられた補助データファイルに記憶されている。圧縮パラメータセットの識別子及びメインＡＶビットストリームにおけるこれらの識別子に対する相応の参照は補助データファイル及びメインＡＶビットストリームを含む関連付けられたファイル又はストリームの中で一意的である。

有利には、メインＡＶビットストリームを含むファイル又はストリームに関係付けられた既存の補助データファイルは圧縮パラメータセットを運ぶために拡張される。

有利には、メインＡＶビットストリームを含むファイル又はストリームに対する補助データファイルの付加的な同形セット（isomorphic set）は、既存の補助データファイルに対する拡張を処理することができない古い装置とのコンパチビリティを犠牲にしないように、圧縮パラメータセットのような付加情報を運ぶために作成される。

さらに有利には、圧縮パラメータセット識別子の有効期間は明示的にシグナリングされる。

有利には、圧縮パラメータセット識別子の有効期間のシグナリングは、メインＡＶビットストリームの部分に関連付けられたプレゼンテーション又は復号化時間情報に基づいている。しかし、圧縮パラメータセット識別子の有効期間のシグナリングは、メインＡＶビットストリームの部分に関連付けられたファイルネームに基づいてもよい。また、圧縮パラメータセット識別子の有効期間のシグナリングは、メインＡＶビットストリームの部分に関連付けられたパケット又はセクタのような基本的なトランスポート又は記憶エンティティの既存のアイデンティフィケーションに基づいてもよい。このメインＡＶビットストリームの部分はこのパケットにおいて運ばれる。

さらに有利な実施形態によれば、
圧縮パラメータセットは間接的に参照され、
ａ．ＡＶマテリアルの部分の各々のセットのＡＶビットストリームにおけるパラメータセット識別子は二次テーブルのエントリを参照するように定義されており、
ｂ．二次テーブルは個々に各々の部分毎に利用可能であり、さらに各々の部分毎に繰り返されるデータ構造における補助ファイルに記憶されており、
ｃ．ＡＶマテリアルの全ての二次テーブルのエントリはそれ自体が今度はＡＶマテリアル毎にかつて設けられた共通パラメータセットテーブルのエントリを参照する識別子であるように定義されている。

本発明のさらに有利な実施形態は以下の記述から結果的に得られる。

図面
添付された図面を参照しつつ本発明の実施例を記述する。図面において
図１は別個のパラメータセットを有するＡＶストリームを示し、
図２はＡＶデータに従ってモデル化されたアウトオブバンドパラメータセット（out-of-band parameter set）を有するＡＶストリームを示し、
図３はＤＶＤに存在するＰＧＣＩファイルの内部構造を示し、
図４はパラメータセットを包含するように拡張されたＰＧＣＩファイルの内部構造を示し、
図５はＰＧＣＩファイル及びパラメータセットを包含するように拡張されたパラレルファイルの内部構造を示し、
図６はスコープ期間情報を加えられたパラメータセットを示し、
図７は間接参照機構を示す。

実施例
ＭＰＥＧ４Ｐａｒｔ１０のようなビデオ圧縮スキームの場合、圧縮パラメータセットはビデオ符号化プロセスの間に生成され、メインＡＶビットストリームとは別個に記憶され、次いで図１に示されているようにそこから参照される。別個に生成されたパラメータセットを有するＡＶストリームの個別アクセス可能データユニット（ＩＡＤＵ（individually accessible data unit））は各々スライスｓ１、ｓ２・・・ｓｎに細分化された画像ｐ１、ｐ２、ｐ３、ｐｉ．．．を含む。スライスに対しては、別個に生成された圧縮パラメータ、典型的にはグローバルパラメータＧＰ１及びＧＰ２、ピクチャレイヤパラメータＰＬＰ１、ＰＬＰ２及びＰＬＰ３、そしてスライスレイヤパラメータＳＬＰ１、ＳＬＰ２、ＳＬＰ３、ＳＬＰ４及びＳＬＰ５へのポインタが存在する。

ＩＡＤＵは一般にエントリ画像ｐ１（イントラ符号化フレーム）によってスタートし、このエントリ画像ｐ１はＡＶビットストリームの他のデータから独立して復号化可能であるが、必要とされるパラメータセットへの参照は例外であり、例えば各々画像内の符号化されたスライス毎にグローバルパラメータＧＰ１、ピクチャレイヤパラメータＰＬＰ１及びスライスレイヤパラメータＳＬＰ１、ＳＬＰ２への各々１つの参照を有する。

図２に図示されているように、圧縮パラメータセットはアウトオブバンド（out-of-band）に、つまりメインＡＶファイルとは別個に１つのファイル又はファイルのセットにおいて記憶される（これはパラメータセットを別個に、しかもＡＶデータの後続の伝送に先んじて伝送することに等しい）。典型例として示されているのは、第１のＩＡＤＵのＡＶデータＡＶ＿ＩＡＤＵ＿１及び第２のＩＡＤＵのＡＶデータＡＶ＿ＩＡＤＵ＿２を有する２つＩＡＤＵである。パラメータセットは、ＩＡＤＵ１のエントリ画像ｐ１において参照されるパラメータセットＰＳｐ１と、それに続いてＩＡＤＵ１の他の画像において参照されるパラメータセットＰＳｏによってアウトオブバンドに配置されている。どのＩＡＤＵにおいても参照されないパラメータセットＰＳｎ及びＩＡＤＵ２において参照されるパラメータセットＰＳ＿ＩＡＤＵ＿２も示されている。

有利には、図２に示されているように、このようなパラメータセットファイル／ストリームの内部構造はこれに関連付けられているＡＶデータの内部構造に近接して後続する。典型的にはパラメータセット識別子は「符号化セッション」内で一意的（unique）であり続けなくてはならない。言い換えれば、同一の識別子は符号化セッション内の２つの異なるパラメータセットに対して使用できない。従って、符号化セッションがこれらの識別子のスコープ（scope）を構成する。

「符号化セッション」は、次のようにＤＶＤのような記憶媒体における有意味なエンティティにマッピングされる。すなわち、ＤＶＤは、セマンティックなエンティティの階層、とりわけ「プログラムチェーン」、「セル」及び「ビデオオブジェクトユニット（ＶＯＢＵ）」の階層を識別する。パラメータセットの不必要な反復を最小化するために、パラメータセット識別子のスコープはこれらのエンティティの最大の可能なエンティティに制限されている。ＤＶＤではエンティティに関する情報はナビゲーションデータの部分を構成し、「ビデオマネージャ情報（ＶＭＧＩ）」及び「ビデオタイトルセット情報（ＶＴＳＩ）」ファイルにまとめられており、以後は一般にＰＧＣＩファイルと呼ぶ。図３はこれらのＰＧＣＩファイルの内部構造を示す。

さらに、これらのＰＧＣＩファイルはこれらのＰＧＣＩファイルの中に直接的に圧縮パラメータセットを含むことによってＤＶＤにおいて定義されているように拡張されるか（図４）、又は、有利には既存のＤＶＤプレイヤとのコンパチビリティを維持するためにＰＧＣＩファイルの内部構造に類似した圧縮パラメータセットを含んでいる内部構造を有する別個のファイルを作成するように拡張されるか（図５）のいずれかである。

オーサリング（authoring）の間に、プログラムチェーンの異なる部分が記憶媒体への記録に先んじて別個に符号化される。この場合、これらの部分の間で同一のパラメータセット識別子が異なるパラメータセットにたまたま割り当てられてしまうことも大いにありうる。このようなコンパウンドコンテント（compound content）の容易なオーサリングをサポートするために、パラメータセット識別子のスコープ期間（scope period）に関する明示的なアイデンティフィケーションを加えることもできる。圧縮パラメータセットを参照しているＡＶビットストリームにこのようなアイデンティフィケーションを加えるのは良いオプションではない。なぜなら、それはビットストリームのより多くのパーシング（parsing）を必要とするだろうし、ビットレートを増大させるだろうからである。それゆえ、アウトオブバンドファイルに格納されているような各圧縮パラメータセット又はこのようなパラメータセットのグループをそのスコープ期間を規定する情報によって修正することが提案される（図６）。このようなスコープ期間情報は、ＡＶマテリアル内のタイムスタンプ、ＡＶビットストリームの異なる部分（ＤＶＤのＶＯＢファイル）を識別するファイルネーム又はディスク上のセクタ番号に基づく。

上記のようなコンパウンドコンテントの場合には、パラメータセット識別子割り当てはＡＶマテリアル全体の別個に符号化された部分の間で変化するだろうが、それでもやはりこれらのパラメータセットの全てではなくても多くが、異なる識別子を提供するにもかかわらず、実際には同一であることが起こりうる。なぜなら、用いられる符号化装置が内部的に所定のパラメータセットの限定されたセットの中から使用し選択するからである。この場合、圧縮パラメータセットの不必要な反復を回避する別の方法として、付加的に、パラメータセット参照の間接機構を使用することが提案され、この場合、各部分のＡＶビットストリームにおけるパラメータセット識別子は各部分毎に個別に利用可能な小さな二次テーブルを参照するように定義され、この二次テーブルは各部分毎に反復されるデータ構造においてアウトオブバンドファイルに記憶されており、ＡＶマテリアル全体の全ての二次テーブルのエントリはそれら自体が今度はかつて設けられた共通パラメータセットテーブルのエントリを参照する識別子であるように定義される（図７）。

本発明は記録媒体へオーサリングされるＡＶビットストリームをフォーマットする容易性ならびにビットレート効率の利点を有する。パラメータセットの使用の本来の目的どおりに、オーサリングツールはＡＶデータのビットストリームとは別個にパラメータセットを記憶することが予想される。各パラメータセットは一度記憶されさえすればよく、記憶媒体上のどの符号化された画像からも何回でも参照されうる。間接参照スキームを使用すれば、たとえＡＶアセットが異質のソースから由来してもパラメータセットマネージメントは効率的でありつづける。

本発明は特にＡＶビットストリームのトランスポート又は記憶において役立つ。しかし、本発明は他の種類のビットストリームにも適用可能である。

別個のパラメータセットを有するＡＶストリームを示す。

ＡＶデータに従ってモデル化されたアウトオブバンドパラメータセット（out-of-band parameter set）を有するＡＶストリームを示す。

ＤＶＤに存在するＰＧＣＩファイルの内部構造を示す。

パラメータセットを包含するように拡張されたＰＧＣＩファイルの内部構造を示す。

ＰＧＣＩファイル及びパラメータセットを包含するように拡張されたパラレルファイルの内部構造を示す。

スコープ期間情報を加えられたパラメータセットを示す。

間接参照機構を示す。

符号の説明

ＧＰ グローバルパラメータ
ＰＬＰ ピクチャレイヤパラメータ
ＳＬＰ スライスレイヤパラメータ
ｐ１，ｐ２，・・・ 画像
ｓ１，ｓ２，・・・ スライス
ＩＡＤＵ 個別アクセス可能データユニット
ＡＶ＿ＩＡＤＵ＿１ 第１のＩＡＤＵのＡＶデータ
ＡＶ＿ＩＡＤＵ＿２ 第２のＩＡＤＵのＡＶデータ
ＰＳｐ１ ＩＡＤＵ１のエントリ画像ｐ１において参照されるパラメータセット
ＰＳｏ ＩＡＤＵ１の他の画像において参照されるパラメータセット
ＰＳｎ どのＩＡＤＵにおいても参照されないパラメータセット
ＰＳ＿ＩＡＤＵ＿２ ＩＡＤＵ２において参照されるパラメータセット
ＶＯＢＵ ビデオオブジェクトユニット
ＶＭＧＩ ビデオマネージャ情報
ＶＴＳＩ ビデオタイトルセット情報

Claims (11)

1. 符号化されたデータの中から参照される多数の圧縮パラメータセットを使用するビデオ符号化方法において、
   前記圧縮パラメータセットはメインＡＶストリームを含むファイル又はストリームに一意的に関連付けられた補助データファイルに記憶されており、さらに前記圧縮パラメータセットの識別子及びメインＡＶビットストリームにおけるこれらの識別子に対する相応の参照は前記補助データファイル及びメインＡＶビットストリームを含む関連付けられたファイル又はストリームの中で一意的である、符号化されたデータの中から参照される多数の圧縮パラメータセットを使用するビデオ符号化方法。
2. メインＡＶビットストリームを含む前記ファイル又はストリームに関係付けられた既存の補助データファイルは前記圧縮パラメータセットを運ぶために拡張される、請求項１記載のビデオ符号化方法。
3. メインＡＶビットストリームを含む前記ファイル又はストリームに対する補助データファイルの付加的な同形セット（isomorphic set）は、既存の補助データファイルに対する拡張を処理することができない古い装置とのコンパチビリティを犠牲にしないように、前記圧縮パラメータセットのような付加情報を運ぶために作成される、請求項１記載のビデオ符号化方法。
4. 圧縮パラメータセット識別子の有効期間は明示的にシグナリングされる、請求項１〜３のうちの１項記載のビデオ符号化方法。
5. 圧縮パラメータセット識別子の有効期間のシグナリングは、メインＡＶビットストリームの部分に関連付けられたプレゼンテーション又は復号化時間情報に基づいている、請求項４記載のビデオ符号化方法。
6. 圧縮パラメータセット識別子の有効期間のシグナリングは、メインＡＶビットストリームの部分に関連付けられたファイルネームに基づいている、請求項４記載のビデオ符号化方法。
7. 圧縮パラメータセット識別子の有効期間のシグナリングは、メインＡＶビットストリームの部分に関連付けられたパケット又はセクタのような基本的なトランスポート又は記憶エンティティの既存のアイデンティフィケーションに基づいており、前記メインＡＶビットストリームの部分は前記パケットにおいて運ばれる、請求項４記載のビデオ符号化方法。
8. 前記圧縮パラメータセットは間接的に参照され、
   ｄ．ＡＶマテリアルの部分の各々のセットのＡＶビットストリームにおけるパラメータセット識別子は二次テーブルのエントリを参照するように定義されており、
   ｅ．前記二次テーブルは個々に各々の前記部分毎に利用可能であり、さらに各々の前記部分毎に繰り返されるデータ構造における補助ファイルに記憶されており、
   ｆ．前記ＡＶマテリアルの全ての前記二次テーブルのエントリはそれら自体が今度は前記ＡＶマテリアル毎にかつて設けられた共通パラメータセットテーブルのエントリを参照する識別子であるように定義されている、請求項４〜７のうちのいずれかに記載のビデオ符号化方法。
9. 請求項１〜８のうちのいずれかに記載の方法を使用するビデオ符号化装置。
10. 請求項１〜８のうちのいずれかに従って符号化されたビデオ信号を復号化するためのビデオ復号化方法。
11. 請求項１０記載の方法を使用するビデオ復号化装置。

Images