JP2007534185A - ストリーミングシステムにおけるデータストリームの復号化方法およびデータストリームの復号化装置 - Google Patents

Abstract

オーディオ／ビデオサブストリーム（１４）および制御サブストリームを含むデータストリームの復号化方法に関する。複数のデータパケットを同じバッファ内にバッファリングできるバッファリングノード（１２）が設けられる。これは割り当てバッファサイズに対するパラメータと蓄積されるパケットに対するパラメータとを別個にすることにより達成される。つまり複数のパケットが蓄積されているときだけでなく、バッファが空のときにもノードが存在するので、このノードを後に再利用する。これは特にＭＰＥＧ４オーディオノードまたはサウンドノードにおける複数のパケットをバッファリングしたりこれに選択的にアクセスしたりする際に有利である。

Description

本発明はＭＰＥＧ４などのマルチメディアストリーミングシステムのバッファリングノードにおけるデータストリームの復号化方法およびデータストリームの復号化装置に関する。

発明の背景
ＭＰＥＧ４規格ＩＳＯ／ＩＳＥ１４４９６の第１部“Systems”では、オーディオ／ビデオシーンが複数のオーディオオブジェクト、ビデオオブジェクトおよび合成２Ｄ／３Ｄオブジェクトから成り、これらが種々のＭＰＥＧ４フォーマットで符号化され、複数のサブストリームを含む多重ビットストリームのバイナリ圧縮データとして送信されることが記載されている。サブストリームはエレメンタリストリームＥＳとも称され、デスクリプタを用いてアクセスされる。エレメンタリストリームＥＳはＡＶデータを含み、またＡＶサブストリームを復号化するのに必要なコンフィグレーション情報を含むいわゆるオブジェクト記述ストリームＯＤであることもある。オブジェクトから１つのシーンを合成するプロセスはコンポジションと称され、パケットの再構成および相応のエレメンタリストリームＥＳの復号化後に、個々のＡＶオブジェクト、例えばビデオおよび関連するオーディオおよびテキストのプレゼンテーションが混合される。シーンのコンポジションはシーン記述ストリームと称される専用のエレメンタリストリームＥＳにより記述される。これはＢＩＦＳ（Binary Information for Scenes）と称される符号化されたノードツリーから成るシーン記述を含む。ノードとはデータをバッファリングし、デコーダと後続のユニットとのあいだの時間同期を実行するＭＰＥＧ４規格の処理ステップまたはユニットを意味する。ノードはフィールドと称される属性および付加的な他の情報を有する。ＢＩＦＳツリーのリーフノードはＯＤストリーム内のＯＤを指示するエレメンタリＡＶデータに相応し、ＯＤストリームは逆にＡＶデータを指示するＥＳ記述子を含む。中間ノードまたはシーン記述ノードは材料をまとめてＡＶオブジェクトを形成し、こうしたＡＶオブジェクトのグループ化や変換を実行する。受信機ではコンフィグレーションサブストリームが抽出され、要求されたＡＶデコーダのセットアップに使用される。ＡＶサブストリームはオブジェクトに対して個別に復号化され、受信されたコンポジション命令は復号化されたＡＶオブジェクトからのプレゼンテーションの準備に用いられる。その後、最終的なプレゼンテーションまたはシーンが再生される。

ＭＰＥＧ４規格によれば、オーディオコンテンツは‘audioBuffer’ノードまたは‘mediaBuffer’ノードに蓄積される。２つのノードはいちどに１つのデータブロックしか蓄積できない。他のデータブロックを蓄積するときには先行して蓄積されたデータブロックは上書きされる。

ノードが生成されるかまたはフィールド‘Length’が変更されると、‘audioBuffer’ノードにはオーディオサブストリームからデータがロードされる。これはオーディオバッファにオーディオデータの１つの連続ブロックのみロード可能であるということを意味する。割り当てられたメモリはデータの専用量を適合化する。さらにロードされるデータサンプルのタイミングはＢＩＦＳデコーダのタイミングモデルに正確に依存しないことがある。

１つ以上のオーディオサンプルをロードするために、複数の‘audioBuffer’ノードを用いてＭＰＥＧ４のシーンを構築することができる。ただし複雑なシーンの処理や、種々の‘audioBuffer’ノードに蓄積されたデータの同期は困難である。また各情報ごとに新たなストリームを開かなければならない。

本発明の概要
本発明の課題は、ストリーミングシステムのマルチメディアバッファノードにおける１つまたは複数のＭＰＥＧ４などのデータブロックの蓄積および回収の手段を向上させることである。

この課題は請求項１の特徴部分に記載の方法および請求項８の特徴部分に記載の装置により解決される。

本発明によれば、付加的なパラメータがマルチメディアバッファノード、例えばオーディオノードまたはビデオノードの定義に付加され、ＡＶコンテンツを含む複数のデータブロックを蓄積して選択的に処理することができる。例えばシーンへの組み込み、更新または消去を行うことができる。ＭＰＥＧ４の場合、これらの付加的なパラメータはノード、例えば‘audioBuffer’ノードまたは‘mediaBuffer’ノードの記述における新たなフィールドである。新たなフィールドは受信データストリーム、例えばオーディオストリーム内のデータブロックの位置と、ブロックのローディングの扱い方、例えば以前に蓄積したデータブロックの上書きまたはデータブロックのバッファへの累積とを定義している。

図面の簡単な説明
本発明の実施例を添付図に則して詳細に説明する。図１にはＭＰＥＧ４のシーンの一般的なストラクチャが示されている。図２にはＭＰＥＧ４の‘AdvancedAudioBuffer’ノードの例が示されている。図３にはＭＰＥＧ４の‘AdvancedAudioBuffer’ノード内のフィールドが示されている。

本発明の実施例の説明
図１にはシーン記述ストリームＥＳ＿ＩＤ_Ｓで受信されたシーン記述を用いてＭＰＥＧ４シーンを合成するコンポジションの様子が示されている。このシーンはオーディオデータ、ビデオデータおよびその他のデータを含んでおり、オーディオおよびビデオのコンポジションはＡＶノードＯＤＩＤ_ＡＶにおいて定義されている。シーンのオーディオパートはAdvancedAudioBufferノードおよびオーディオオブジェクト（例えばデコーダ）に対する参照子ＯＤＩＤ_Ａを含むオーディオコンポジタから成る。オーディオオブジェクトに属する実際のオーディオデータはパケットとしてオーディオストリームＥＳとなり、そのデスクリプタＥＳ＿Ｄ_Ａを介してアクセス可能となる。AdvancedAudioBufferノードはオーディオデコーダから到来するオーディオストリームＥＳ＿ＩＤ_Ａから複数のオーディオデータパケットを取り出す。

図２にはより詳細にＭＰＥＧ４シーンのオーディオパートが示されている。シーン記述１０のオーディオパートはサウンドノード１１を含み、このサウンドノードはオーディオデータを蓄積するためのインタフェースを提供するAdvancedAudioBufferノード１２を有する。蓄積すべきオーディオデータはオーディオデコーダから受信されたオーディオストリーム１４のパケットから成る。各データパケットは復号化される時刻で特定される。AdvancedAudioBufferノード１２はパケットをロードするための時間情報、例えば開始時刻ｔ_１および終了時刻ｔ_２を有する。またAudioSourceノード１３を参照することにより要求されたＥＳを識別してこれにアクセスできる。AdvancedAudioBufferノードは充分なバッファリング容量を利用できるかぎり先行して蓄積したデータパケットを上書きすることなく特定のデータパケットをバッファリングする。

AdvancedAudioBufferノード１２はＭＰＥＧ４規格ＩＳＯ／ＩＥＣ１４４９６−１：２００２の章節９．４．２．７に定義されたAudioBufferノードに置き換わるものである。従来のAudioBufferノードに比べて、本発明のAdvancedAudioBufferノードは例えばデータのリロードが可能となる進化したローディングメカニズムを有している。

AdvanceAudioBufferノードはＭＰＥＧ４シンタクスを用いて図３のように定義される。このノードは複数のフィールドおよびイベントを有する。フィールドはパラメータまたは変数の関数を有し、イベントはノードに対する制御インタフェースを表す。ＩＳＯ／ＩＥＣ１４４９６−１：２００２の章節９．４．２．７には、‘loop’，‘pitch’，‘startTime’，‘stopTime’，‘children’，‘numChan’，‘phaseGroup’，‘length’，‘duration_changed’，‘isActive’などのフィールドの関数が記載されている。‘length’フィールドは割り当てオーディオバッファの長さを秒で表している。前述の規格の現行ヴァージョンではこのフィールドは修正できない。これは別のオーディオデータブロックがロードされるときには別のAudioBufferノードをインスタンス化しなければならないことを意味する。なぜならオーディオデータはノードのインスタンス化時点でバッファリングされるからである。しかし新たなノードの生成は複雑なソフトウェアプロセスであり、生成されたノードとＢＩＦＳツリーとで時間参照子が異なってしまうおそれがある。

AudioBufferノードになかった新たなフィールド‘startLoadTime’，‘stopLoadTime’，‘loadMode’，‘numAccumulatedBlocks’，‘deleteBlock’，‘playBlock’がAdvanceAudioBufferノードには含まれる。これらの新たなフィールドにより例えば蓄積されたデータのローディングや消去などの新たな関数をイネーブルすることができる。さらにノードのインスタンス化時点で割り当てバッファサイズを実際のバッファリングデータ量とは無関係に定義することができる。割り当てバッファサイズは‘length’フィールドによって表されている。‘startTime’フィールドおよび‘stopTime’フィールドと‘startLoadTime’フィールドおよび‘stopLoadTime’フィールドとは以下に述べるモードに依存して選択的に使用することができる。

種々のローディングメカニズムが存在しており、これらが‘loadMode’フィールドによって表される。これらは例えば互換モード、リロードモード、累積モード、連続累積モード、制限累積モードなどである。

互換モードでは、オーディオデータはその‘length’フィールドが変化するたびにAdvancedAudioBufferノードのインスタンス化時点でバッファリングされる。このモードでは‘startLoadTime’フィールド，‘stopLoadTime’フィールド，‘numAccumulatedBlocks’フィールド，‘deleteBlock’フィールドおよび‘playBlock’フィールドは作用しない。‘startTime’フィールドおよび‘stopTime’フィールドがバッファリングすべきデータブロックを表す。

リロードモードでは‘startLoadTime’フィールドおよび‘stopLoadTime’フィールドが有効となる。AdvancedAudioBufferノードの時間参照子が‘startLoadTime’フィールドに定められた時刻に達すると、内部データバッファはクリアされ、ノードの入力側のサンプルは‘stopLoadTime’フィールドの時刻に達するまで、または蓄積されたデータが‘length’フィールドに定義された長さを有するようになるまで蓄積される。‘startLoadTime’フィールドの値が‘stopLoadTime’フィールドの値以上である場合、‘length’フィールドに定義された長さを有するデータブロックが‘startLoadTime’フィールドに定められた時刻でロードされる。このモードでは‘numAccumulatedBlocks’フィールド，‘deleteBlock’フィールドおよび‘playBlock’フィールドは作用しない。

累積モードでは、‘startLoadTime’フィールドから‘stopLoadTime’フィールドまでのインターバルによって定義されるデータブロックがバッファコンテンツの最終部に付加される。全てのデータブロックにアクセス可能となるように、ブロックには後述のインデクスまたはレーベルが付される。‘length’フィールドによって定められた限界値に達すると、ローディングは終了される。このモードでは‘numAccumulatedBlocks’フィールドは作用しない。

連続累積モードでは、‘startLoadTime’フィールドから‘stopLoadTime’フィールドまでのインターバルによって定義されるデータブロックがバッファコンテンツの最終部に付加される。バッファ内の全てのデータブロックにはアクセス可能となるようにインデクスが付される。‘length’フィールドによって定められた限界値に達すると、最も旧いデータが廃棄されるかまたは上書きされる。このモードでは‘numAccumulatedBlocks’フィールドは作用しない。

制限累積モードは累積モードに類似しているが、蓄積ブロック数が‘numAccumulatedBlocks’フィールドに定められた数に制限されている点が異なる。このモードでは‘length’フィールドは作用しない。

前述の幾つかのローディングメカニズムでは、‘deleteBlock’フィールドにおける０からそれ以下の値への移行により、最新のデータブロックに対して所定のデータブロックの消去が開始される。例えば最新のデータブロックは−１、その前のブロックは−２でアドレシングされる。これはたとえは累積モード、連続累積モードおよび制限累積モードで可能である。

本発明のバッファは複数のデータブロックをバッファリングできるので、再生用の特定のデータブロックを選択する手段が得られ、有利である。‘playBlock’フィールドは再生すべきブロックを定義する。‘playBlock’フィールドがデフォルトで０にセットされている場合、‘startTime’フィールドおよび‘stopTime’フィールドの条件を用いて全コンテンツが再生される。これは前述の互換モードであり、周知のＭＰＥＧ４システムの機能と互換可能である。‘playBlock’フィールドが負の値にセットされている場合、最新のブロックに対して所定のブロックがアドレシングされる。つまり最新のブロックを−１として前のブロックが−２でアドレシングされるといったふうになる。

本発明の方法では、ノードへのデータのローディングがバッファリングまでに新たなノードを生成しなければならない現行のＭＰＥＧ４規格におけるよりも迅速であり、バッファノードが再利用されるので有利である。したがってAdvancedAudioBufferノードをＢＩＦＳノードの時間参照子に簡単に適合させることができ、ＭＰＥＧ４のオーディオデータおよびビデオデータが確実に同期される。

本発明の方法の１つの適用例として、種々の要素、例えば交通情報を含む放送番組のストリームを受け取る受信機が挙げられる。オーディオストリームから交通情報を有するパケットが抽出される。本発明のＭＰＥＧ４システムによれば、間欠的に種々の時刻で受信されたこれらのパケットをバッファに累積し、ユーザの定めた時刻でプレゼンテーションすることができる。例えばユーザは手動または自動で最新の交通情報メッセージを呼び出したり、選別したり、消去したりするインタフェースを有する。いっぽうで放送者も受信機のデータバッファに蓄積されている交通情報メッセージを選択的に消去したり更新したりできる。

有利には、本発明は１つまたは複数の制御ストリームまたはマルチメディアデータストリームから成るデータストリームを受け取る全てのタイプのデバイスに適用可能である。ここで所定のタイプの情報はそれぞれ異なる時刻で送信される種々のブロックへ分割される。特にこれらは放送受信機および全てのタイプの音楽配信機器に適している。

本発明はＭＰＥＧ４規格のストリーミングシステムに特に適している。

ＭＰＥＧ４のシーンの一般的なストラクチャを示す図である。 ＭＰＥＧ４の‘AdvancedAudioBuffer’ノードを示す図である。 ＭＰＥＧ４の‘AdvancedAudioBuffer’ノード内のフィールドを示す図である。

Claims (10)

1. データストリームは第１のサブストリームおよび第２のサブストリームを含み、
   第１のサブストリーム（１４）はマルチメディアデータパケットを含み、第２のサブストリームは制御情報（１０）を含み、
   マルチメディアデータパケットはプレゼンテーション時刻のインデクスを含み、マルチメディアデータパケットはインデクスにより示されるプレゼンテーション時刻に先行して復号化される
   データストリームの復号化方法において、
   復号化された第１のマルチメディアデータパケットを少なくともさらなる処理後プレゼンテーションされるまでバッファリングし、
   復号化された第１のマルチメディアデータパケットに他のマルチメディアデータパケットを付加するかまたは復号化された第１のマルチメディアデータパケットを他のマルチメディアデータパケットで置換することにより他のマルチメディアデータパケットをバッファリングする
   ことを特徴とするデータストリームの復号化方法。
2. 制御情報は他のマルチメディアデータパケットが第１のデータパケットに付加されるかまたは第１のデータパケットを置換するかを定義している、請求項１記載の方法。
3. 制御情報は第１の制御データおよび第２の制御データおよび第３の制御データを含み、第１の制御データ（Length）は割り当てバッファサイズを定義しており、第２の制御データ（LoadMode）は他のマルチメディアデータパケットが第１のデータパケットに付加されるかまたはこれを置換するかを定義しており、第３の制御データ（StartLoadTime，StopLoadTime）はバッファリングすべきマルチメディアデータパケットを定義している、請求項１または２記載の方法。
4. バッファリングされた第１のマルチメディアデータパケットおよび他のマルチメディアデータパケットにレーベルを添付し、相応のレーベルを介して各パケットへのアクセスを行う、請求項１から３までのいずれか１項記載の方法。
5. バッファリングされたデータパケットに添付されたレーベルは最新の受信データパケットに対するインデクスを含む、請求項１から４までのいずれか１項記載の方法。
6. 第１のサブストリームはオーディオデータを含み、第２のサブストリームはプレゼンテーション記述を含む、請求項１から５までのいずれか１項記載の方法。
7. データストリームはＭＰＥＧ４規格に準拠している、請求項１から６までのいずれか１項記載の方法。
8. データストリームは第１のサブストリームおよび第２のサブストリームを含み、
   第１のサブストリーム（１４）はマルチメディアデータパケットを含み、第２のサブストリームは制御情報（１０）を含み、
   マルチメディアデータパケットはプレゼンテーション時刻のインデクスを含む、
   データストリームの復号化装置において、
   復号化された第１のマルチメディアデータパケットはバッファリング手段にバッファリングされ、
   復号化された第１のマルチメディアデータパケットに他のマルチメディアデータパケットを付加するかまたは復号化された第１のマルチメディアデータパケットを他のマルチメディアデータパケットで置換することにより、前記バッファリング手段において制御情報に依存して第２のマルチメディアデータパケットがバッファリングされる
   ことを特徴とするデータストリームの復号化装置。
9. バッファリングされた第１のデータパケットおよび他のデータパケットにレーベルを添付する手段と、相応のレーベルを介して各パケットへのアクセス、パケットの回収または消去を行う手段が設けられている、請求項８記載の装置。
10. データストリームはＭＰＥＧ４規格に準拠している、請求項８または９記載の装置。

Images