JP2001518272A - Ｍｐｅｇ−４システム迎合アーキテクチャ - Google Patents

Abstract

(57)【要約】 本発明はマルチ−スレッディング オペレーティング システムによって管理される或る特定のタスクを有する複数のキーモジュールに分割されるMPEG-4システム迎合アーキテクチャに関するものである。MPEG-4デマルチプレクサを３つの処理レベルに区分する。各処理は互いに独立したものとするが、同期基本命令は、オペレーティングシステムにより、それぞれのバッファを制御するセマフォー形態で与えられるようにして、これらバッファのサイズをできるだけ小さくし得るようにする。用途：産業上のあらゆる種類のMPEG-4機器(デスクートップ、セットートップボックス)。

Description

【発明の詳細な説明】 ＭＰＥＧ−４システム迎合アーキテクチャ 発明の分野 本発明は、ＭＰＥＧ−４システムに迎合的なアーキテクチャに関するものであ る。本発明は、ＭＰＥＧ−４マルチメディアデータのストリーミングに対するＭ ＰＥＧ−４標準に関係するアプリケーションを有するものである。 発明の背景 ＭＰＥＧ−４標準のシステムに関係する部分では、ＭＰＥＧ−４のマルチメデ ィアデータ（ビデオ、オーディオ、二次元及び三次元のグラッフィックス）にア クセスするアーキテクチャを規定している。ＭＰＥＧ−４システムについては、 文献“ＭＰＥＧ-４Systems”(ISO/IEC ＪＴＣ／ＳＣ２９／ＷＧ１１Ｎ１９０１ 、１９９７年１１月２１日）に詳しく記載されている。斯様なアーキテクチャは 、それが例えば多数のソース（ネットワーク、放送、記憶媒体等）から派生する オーディオ及びビデオストリームの如き、任意数のストリームへアクセスするか ら、複雑なものである。特に、MPEG-４標準は、オーディオ及びビデオデータの 同期に対して、時間情報を前記種々のストリームにタイム−スタンプによって導 入させるメカニズムを特定している。 MPEG-４に関連する既存の大部分のものは、ビットレートの見地からいずれか のタイプの安定性を維持するネットワーク技術を用いるものである(例えば、移 動通信ネットワーク、インターネット)。こうしたネットワークにおいては、ビ ットレートの変動が（インターネットの場合には、日時に応じて;移動通信ネッ トワークの場合には、最も近い基地局までの距離に応じて）生じる。MPEG-４迎 合アーキテクチャ（このアーキテクチャのトポロジーは、セッション中固定させ ることができるが、一般にセッション中には動的に展開する所謂“コンフィギュ レーション”に関連して処理しなければならない）は、特別に編成される多数の メモリバッファを扱わなければならないので、最適なアーキテクチャを実現する ことによって適切なバッファ管理を行わなければならない。この状況にて解決す べき問題 は、次のような諸欠点をなくすために、前記アーキテクチャの種々のモジュール 間における情報交換に関するものである。即ち： -例えば、同期はずれをもたらすことになるストリームにおける損失のような 、“パイプーライン”作用の中断（オーディオストリームの中断、又はビデオス トリームに対するオーディオ信号の同期はずれは、エンドユーザに極めて知覚さ れ易いため、こうしたことは容認できない）； -ビデオ会議の如き対話式のアプリケーションに対するあまりに長すぎること になる処理時間； -特大のバッファを用いる場合のメモリ資源の無駄。 こうした諸問題に対する解決策にて妥協点を見出すことは困難である。その理 由は、ネットワークによる影響を低減させるだけの方法は、バッファのサイズを 大きくすることになるが、これは遅延をもたらし、且つ処理時間を増やすことに なる等の問題を引き起こすからである。さらに、（例えばTV放送の分野における MPEG-２標準で）以前のアプリケーションの場合に行っていたように、アーキテ クチャの初期の実現段階にてバッファのサイズを予測することは非現実的である ように思われる。 発明の概要 従って、本発明の目的はこれらの欠点をなくすことにある。 このために本発明は、アーキテクチャを複数のキーモジュールに細分割し、マ ルチ−スレッディング オペレーティング システムによって管理される或る特 定のタスクを前記アーキテクチャの各部に割り当て、且つバッファ管理に対する 戦略を前記マルチ−スレッディング オペレーティング システムによって与え られる同期基本命令に基づいて最適に行うようにしたことを特徴とするアーキテ クチャにある。 MPEG-４システムは、或るコンフィギュレーションが極めて簡単なもの（例え ば、オーディオフローと、ビデオフローとからなる映画）であろうと、又は極め て複雑なもの（例えば、テレビ会議での対話式のマルチユーザバーチャルリアリ ティのアプリケーションに対するもの）であろうと、前記コンフィギュレーショ ンの種々の構成要素を動的に例示できるように実現しなければならない。各MPEG -４ システムをマルチ−スレッディング オペレーティング システムでマイクロプ ロセッサに基づいて実現する汎用アーキテタチャを規定する本発明による技術的 な解決法は斯かる問題に答えるものである。あらゆるマルチ−スレッディング環 境に存在する基本要素を用いる提案したアーキテクチャは、実際にはモジュール 構成で、フレキシブルなもので、ダイナミックであり、拡張可能で、しかも実現 するのも、管理すのも容易である。さらに、マルチ−スレッディング オペレー ティング システムは目的のプロセッサに対して最適化され、且つ多数のタスク の同期を有効に管理し得るように構成される。 図面の簡単な説明 本発明の上述したような要点及び他の要点を以下添付図面を参照して説明する に、ここに： 図１は(所謂Win３２オペレーティング システムにおける)MPEG-４システムの バッファを区分する実現法を示し； 図２は種々のスレッドを有効に保つのに用いられるセマフォーでの制御管理を 示したものである。 発明の詳細な説明 ここに提案する解決法は次のようなことをするものである。先ず、最適なバッ ファ管理用のキーモジュールを規定する。このことはMPEG-４システムを或る特 定な汎用的なものに区分することを意味する。この場合、これらの各モジュール は、マルチ−スレッディング オペレーティング システムによって（バッファ の充填を最適に管理するために、このマルチ−スレッディング オペレーティン グシステムによって与えられる特殊な同期基本命令を用いて）管理されるタスク として実現する。最後に、バッファ管理用の戦略を規定する。 MPEG-４システムのキーモジュールを規定するに当り、MPEG-４のデマルチプレ タサの各部に或る特定のタスタを割り当てるために、前記デマルチプレクサを図 １に示すように、TransMux、FlexMux、基本ストリームの３つの異なるレベルに 区分することを提案する。デコーダバッファ（オーディオ、ビデオ、......）も 、アクセスユニット（ＡＵ）を読取り、且つ（画像、音声を）再生し得るフレー ムを発生させるために規定する（図１に示すようにする）が、このタスクはデマ ルチプ レクサにより実行させるタスクの一部ではない。 図１の構成は、例えばWin３２オペレーティングシステム（＝ウインドウズ９ ５）で実現したものであり、これはマルチ−スレッディング機能をする。１つの スレッドは各プロセスに割り当てられる。即ち： -ディスクＤＫ上、又はネットワークＮＷにおけるデータを読取り、且つＮ個 の多数のFlexMuxパケットデータユニット（＝ＦＭ-ＰＤＵ）に記憶させるための TransMuxのスレッド(ＴＭＸ)； -FM-PDUバッファにおけるこれらのＦＭ-ＰＤＵを読取り，Ｎ個のアクセスユニ ット レイヤ パケット データ ユニット（＝ＡＬ−ＰＤＵ）に記憶させ、且 つＮ個のアクセスユニット（＝ＡＵ）を再構成するためのFlexMuxのスレッド（ ＦＭＸ）(この実施に当っては、FlexMuxのFMX及び基本ストリームＥＬＳを単一 スレッドで編成する）； -Ｎ個のフレームをデコーダ用のアクセスユニット（ＡＵ）で構成するための デコーダのスレッド(ＤＥＣ)。 これらの各スレッドは互いに独立したものである。図１に示すように、バッフ ァは長さが固定されない（従って、巨大なバッファとする必要もなければ、タス クを飢餓状態にさせることもないようにするために、これらのバッファの状態を 制御することを勧める）待ち行列として、即ちＦＩＦＯ（先入れ、先出し）メモ リとして実現する。 しかしながら、タスクは所謂同期基本命令を用いて互いに監視しなければなら ず、これは種々のスレッドを効率的に保つセマフォー（又はカウンタ）によって 行われる。オペレーティングシステムによって与えられるこれらの各セマフォー はデマルチプレクサにおけるそれぞれの各バッファ（ＦＭ−ＰＤＵ、ＡＬ-ＰＤ Ｕ、ＡＵ）を制御する。各デコーダにも、デコーダのバッファを制御し、且つＡ Ｕバッファが大きくなりすぎる場合にTransMuxを停止させなければならないこと をこのTransMuxに一回以上知らせる１個のセマフォーがある。 これらの作用を図２に示してあり、これはセマフォーでの制御管理を示してい る。ステップ（1）及び（2）は次のテストに相当し、即ち、（１）は“Ｎが０よ りも大きい場合には、作動させる”ことを意味し、（2）は“Nが最大値よりも大 きい 場合には停止させる”ことをを意味する。 オペレーティングシステムの同期機能に基づくこの制御機能は、次のようなバ ッファ管理戦略に従って実行される。 （ａ）実行時に、最初のオペレーションを局所ディスクＤＫか、ネットワーク NWにおけるデータを読取るTransMuxのＴＭＫによって行う； （ｂ）FlexMuxによってTransMuxのＴＭＸを監視する； （ｃ）基本ストリームＥＬＳによってFlexMuxのFMXを監視する； （ｄ）AUがAUバッファにある場合に、リアルタイムの複合化処理が開始する； （ｅ）AUバッファが臨界的な状態にならないように制御するＡＵ帰還セマフォ ーによってTransMuxのＴＭＸを調整をする。 このバッファ管理戦略の原理はバッファのサイズをできるだけ小さくすること にある。AL−PDUの数がAUを再構成するのに十分である場合には、直ちに再構成 しなければならない。従って、復号化するためのデータは常に存在する。 さらに、重要なことは使用するTransMuxのタイプを考慮することにある。Tran sMuxは２種類、即ち低速のもの（ネットワーク アクセス）と、高速のもの（デ ィスクアクセス）とに区別することができる。ディスクアクセスは待ち時間の見 地から迅速で、しかも安定しており、このようなアクセスタイプのものでは、損 失が生じることがなく、しかも最大臨界値をやや低めにすることができるから、 多くのデータを種々のバッファに記憶させなくて済む。これに対し、ネットワー クアクセスは或る程度の待ち時間を伴うため(例えば、インターネット)、デコー ダを飢餓状態にさせないためにバッファに多めのデータを記憶させるのが重要で ある。 しかし、デコーダが１個以上ある場合には、スレッドを復号化するのに飢餓状 態をまねかないようにするために(従って、送り側ではその目的のために多重化 戦略を採用しているものとする)、全てのAUバッファが最大臨界値に達した場合 にのみTransMuxを停止させなければならない旨を指示しなければならない。

Claims (1)

1. 【特許請求の範囲】 １．MPEG-4迎合アーキテクチャにおいて、該アーキテクチャを複数のキーモジュ ールに区分し、マルチ−スレッディング オペレーティング システムによって 管理される或る特定のタスクを前記アーキテクチャの各部に割り当て、且つバッ ファ管理用の戦略を、前記マルチ−スレッディング オペレーティングシステム によって与えられる特定の同期基本命令に基づいて最適に行うようにしたことを 特徴とするMPEG-4システム迎合アーキテクチャ。 ２．MPEG-4のデマルチプレクサを３つの異なる処理レベルに区分し、その第１の TransMuxを、局所ディスク、又はネットワークにおけるデータを読取り、且つこ れらのデータをパケットデータユニットにより記憶するのに用立て、第２のFlex Muxを、前記パケットデータユニットのデータを読取り、且つこれらのデータを アクセスユニットレイヤーのパケットデータユニットに記憶するのに用立て、第 ３処理レベルのものをアクセスユニット再構成用に用立てるようにしたことを特 徴とする請求項１に記載のアーキテクチャ。 ３．前記各処理を互いに独立したものとするが、前記同期基本命令は、各バッフ ァを制御するセマフォーによって互いに監視するために、前記オペレーティング システムによって与えられるようにして、バッファサイズをできるだけ小さく保 てるようにしたことを特徴とする請求項２に記載のアーキテクチャ。