JP2001506114A

JP2001506114A - データを一定サイズの伝送パケット内にカプセル化する方法

Info

Publication number: JP2001506114A
Application number: JP52356399A
Authority: JP
Inventors: ローレントヘルマン
Original assignee: Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1997-10-17
Filing date: 1998-10-08
Publication date: 2001-05-08
Also published as: CN1146205C; US6522651B2; CN1246997A; DE69834045T2; WO1999021337A2; US20020003811A1; DE69834045D1; KR20000069539A; EP0966823A2; ES2259817T3; KR100593581B1; EP0966823B1; WO1999021337A3; MY126739A

Abstract

(57)【要約】一定サイズのパケットと共に作動するすべての形式のトランスポートネットワークと相互作用するために、連続的で別々にアクセス可能な部分において構成された多重化データをこれらのネットワークに適合させるカプセル化方法を提案する。前記データをセグメント化し、ネットワークパケットのサイズに適合させ、前記データの最終セグメントを前記一定サイズに整合させるために、詰め込みパケットを各々の最終セグメントに付加する詰め込みステップを与える。用途：ＭＰＥＧ−４データの、ＭＰＥＧ−２ＴＳまたはＡＴＭパケット中へのカプセル化。

Description

【発明の詳細な説明】データを一定サイズの伝送パケット内にカプセル化する方法本発明は、データを一定サイズのネットワーク伝送パケット内にカプセル化する方法に関係し、前記データは、オーディオ−ビジュアルオブジェクトの符号化表現の連続する独立してアクセス可能な部分において発生し、前記部分の各々は、セグメントに再分される。本発明は、ＭＰＥＧ−２トランスポートストリーム (ＭＰＥＧ−２ＴＳ)および非同期伝送モード（ＡＴＭ）のようなネットワークと共に、ＭＰＥＧ‐4データをこれらのネットワークの伝送パケット内にカプセル化するのに特に有用である。１９９９年１月に有効になる未来のＭＰＥＧ−４標準は、自然または合成起源のオーディオ−ビジュアルオブジェクト（ＡＶＯと呼ぶ）を表現し、これらを構成すると共にオーディオ−ビジュアルシーンを形成する複合ＡＶＯを形成し、これらのＡＶＯに関係するデータを多重化および同期化し、受信機端において発生されたオーディオ−ビジュアルシーンと相互作用させる標準化された方法を提案する。図１に示し、後により詳細に説明するように、例えば、文書「ＭＰＥＧ−４：情況および目標」アール．コーネン（R．Koanen）他、信号処理：画像通信９（１９９７）、１９９７年５月、ｎ°４、２９５−３０４ページに記載のようなシステムによって受けられたＭＰＥＧ−４オーディオ−ビジュアルシーンは、一般的に、階層的に構成されたいくつかのＡＶＯから構成される。この階層的構造の葉は、テキスト、グラフィックスおよび２または３次元（２Ｄ，３Ｄ）としてもよい何らかの形式の、背景、話している人物の絵、その人物に関係する声、等のような基礎的なＡＶＯである。これらのＡＶＯに関係するデータを、これらが伝送に要求するサービスの品質（ＱｏＳ）と、いくつかの他のパラメータとによって特徴付けられる１つ以上のエレメンタリーストリーム（ＥＳ）において搬送する。トランスポートネットワークまたは記憶媒体からトランスマックスストリーム（TransMux Streams）の形態において来るデータストリームを、適切に逆多重化し、前記エレメンタリーストリームを復元しなければならない。これらのエレメンタリーストリームを、これらの伸張の点から、そして原ＡＶＯ（基礎的ＡＶオブジェクト）を再生するために適切なデコーダに送る。次に、復号化されたＡＶＯを、関係するシーンの構成における情報を与えるシーン記述指示と共に使用し、前記シーンを、その作者によって記述されたように（所定の階層形態において）構成し、表現する。前記作者によって許可された程度に対してもまた、前記シーンとの相互作用のために、アップストリームデータをネットワークレイヤに送り返す。ＭＰＥＧ−４標準のシステム部分は、自然または合成オブジェクト（以上でＡＶＯと呼んだメディアオブジェクト）の形態における通信オーディオビジュアル情報に関するシステムを記述する。このようなシステムにおいて、送り側において、このオーディオビジュアル情報は、実際に圧縮され、構成され、バイナリストリームにおいて多重化され、伝送後、受け側において、これらのストリームは、逆多重化され、伸張され、構成され、エンドユーザ（一般的に、前記表現と相互作用することができる）の端末に与えられる。前記ＡＶＯに関係するデータを搬送するエレメンタリーストリームは、これらのデータ、すなわち、シーン記述情報、オーディオビジュアル情報、コンテント関連情報および他の追加データの符号化表現を含む。伝送後、前記ＥＳを復号化し、前記シーン記述情報に従って構成し（この構成は、実際には、前記メディアオブジェクトの空間−時間的特性を識別するために、シーン記述情報を用いるプロセスとして規定される）、前記端末に与えられ、すべてのこれらのプロセスは、端末復号化モデル（＝システムデコーダモデルすなわちＳＤＭ）および同期化情報に従って同期化される。前記ＳＤＭの目的は、ＭＰＥＧ−４標準に従う端末の動作の目的を与えることであり、送り手によって、受信機が前記セッションを構成するオーディオビジュアル情報を再生するとき、バッファ管理および同期化の点においてどのように動作するかを予測するために使用される。より正確には、（図１に示すような）ＭＰＥＧ−４端末は、トランスマックスレイヤ、フレックスマックスレイヤおよびアクセスユニットレイヤから成る多レイヤ構造（このレイヤモデルは、ＭＰＥＧ −４端末のすべての実装の基礎とすることができる共通モデルを与える）を具える。ＭＰＥＧ−４データストリームを輸送するのに好適な（したがって、ＭＰＥＧ−４を、広く多種の動作環境において使用できるようにする）何らかの存在するまたは将来設けられる多重化機能を示す前記トランスマックスレイヤは、ＭＰＥＧ−４の情況において規定されておらず、実際には、前記トランスポートネットワーク（例えば、ＭＰＥＧ−２ＴＳまたはＡＴＭ）または記憶媒体に対するインタフェースであり、必要なサービスの品質に整合する輸送サービスを提供する。ＭＰＥＧ−４によって補足的に指定されるフレックスマックスレイヤは、インタリーブするデータ（１つのフレックスマックスストリーム中への１つ以上のエレメンタリーストリーム）用のフレキシブルツールから成り、多重化されたデータに関して異なったチャネルを識別する。前記アクセスユニットレイヤは、タイムベース情報およびタイムスタンプされた前記エレメンタリーストリームのアクセスユニットを搬送し、したがって、前記エレメンタリーストリームにおけるアクセスユニット（ビデオまたはオーディオフレーム、シーン記述コマンド、．．．）の識別と、タイムベースの復元とを考慮する（アクセスユニットすなわちＡＵは、エレメンタリーストリーム内におけるＡＶＯの符号化表現の独立してアクセス可能な最小の部分であり、これは、タイミング情報に起因すると考えることができる）。圧縮レイヤは、関係するオーディオビジュアルインタラクティブシーンの構成および表現ステップを実行することを可能にするデータ（オブジェクト記述子、シーン記述情報、基礎的ＡＶオブジェクト）と、リターンチャネルによって行われるインタラクティブアクションに対応するデータとを処理する。さらに、前記エレメンタリーストリームは、パケット化された表現に従って輸送され、いわゆるＳＬ−パッケージ化ストリーム内にカプセル化されたＥＳデータは、ＳＤＭのデマルチプレクサをカプセル化し、ストリーミングデータへのアクセスを提供し、復号化バッファをこれらのデータで満たすことを目的とするストリーム多重化インタフェースを経て送受信される。ＳＬ−パッケージ化ストリームは、１つのＥＳをカプセル化する（前記標準において規定された文法および語義に従う）パケットの列から成る。前記パケットは、上述したアクセスユニットに分割されたエレメンタリーストリームデータと、タイミングおよびアクセスユニットラベル付けのための副情報とを含む。データと、特にＭＰＥＧ−４形式のマルチメディアデータの、種々のネットワーク上での伝送に関して、これらのデータのフォーマットを、前記ネットワークと共に作動できるフォーマットに適合させなければならない。多重化パケットを、（以下に説明するようなＭＰＥＧ−２ＴＳまたはＡＴＭのような）一定サイズのパケットと共に作動するネットワークに、これらのネットワークと相互作用するために、適合させる場合、前記データがセグメント化され、これらのパケットのサイズに一致したとしても、不運にも、いくつかのセグメントがこのサイズに一致するには小さすぎるということが起こる恐れがある。したがって、本発明の目的は、多重化データを、一定サイズのパケットと共に作動するネットワークに適合させる一般的な方法を提供することである。この目的のため、本発明は、この説明の序章において説明したような方法において、各部分の最終セグメントをトランスポートネットワークの一定サイズに整合させるために、特別な詰め込みパケットを前記最終セグメントの各々に付加するために与えられる詰め込みステップを具えることをさらに特徴とする方法に関係する。この技術的解決法は、前記データがＭＰＥＧ−４形式のマルチメディアデータであり、アクセスユニットすなわちＡＵと呼ばれる前記部分の各々を、アクセスユニットレイヤーパケットデータユニット、すなわちＡＬ−ＰＤＵと呼ばれるセグメントに再分する場合、特に重要である。さらに特に、前記方法は、各々の連続する部分の詰め込みパケットのサイズを、以下のサブステップ、すなわち、 − 前記各部分のセグメント数を検出および検査するサブステップと、 − 前記数が２以上の場合、一定サイズの各々の連続するネットワークパケットを、関係するトランスポートネットワークに対応する最後の１つの適切なヘッダを除いて、各セグメントに付加することによって形成し、次に、前記詰め込みパケットのサイズを、前記最後のセグメントのサイズと、前記ネットワークパケットのサイズとの差によると共に、前記ヘッダの値を考慮して計算するサブステップと、 − 前記数が１以下の場合、前記詰め込みパケットのサイズを、この１個のセグメントのサイズと、前記ネットワークパケットのサイズとの差によると共に、前記ヘッダの値を考慮して計算するサブステップと、 − 前記詰め込みパケットのサイズに基づいて、前記最後または１個のセグメントに対応する最終的な完全なネットワークパケットを形成するサブステップとにしたがって計算することを特徴とする。本発明の特徴および利点を、以下の説明および添付した図面に関して、より詳細に説明する。図１は、オーディオビジュアルインタラクティブシーンを構成することを可能にするＭＰＥＧ−４端末の一例を示す。図２は、シーンの階層的表現の一例を示す。図３および４は、各々、ＭＰＥＧ−２ＴＳの情況およびＡＴＭの情況における、本発明によるＭＰＥＧ−４データのカプセル化のメカニズムを示す。図５は、本発明を実行する場合に使用する計算プロセスを示す。ＭＰＥＧ−２標準において、オーディオ−ビジュアルデータは、符号化され、伝送される。ＭＰＥＧ−４標準によって、マルチメディアシーンを端末において再生するために、ビデオおよび同期したオーディオチャネルを輸送しなければならず、したがって、すべてのオブジェクトは、全体の信号ストリームにおいて一緒に多重化され、端末に輸送され、これらが、前記端末のエンドユーザに対して意味のあるマルチメディアシーンを構成し提示するために、逆多重化され、構成される（すでに記述したように、このようなシーンの一例を、図１の上部において見ることができる）。この完全なシーンの記述は、シーンオブジェクトおよび動作の予め規定された組をこれらの空間的−時間的関係と共に表すコンパクトバイナリフォーマット（シーン用バイナリフォーマット、すなわちＢＩＦＳ）によって行われる。このＢＩＦＳシーン記述は、例えば図２に示すようなシーンおよびそのレイアウトを記述するノードの集合から成り、この図は、シーンの階層的表現を与えるシーングラフの例を示し、ノードにおいて（階層的関係を規定するグループ化ノードＧＮか、ツリーの葉のみである子ノードＣＮかにおいて）構成されたレイヤの階層から成るツリー構造にしたがって、必要ならば、これらのノード間の横の関係において、前記シーンのすべてのオブジェクト間のなんらかのデータの伝送を構成する。前記ＢＩＦＳシーン記述に対応するデータは、これら自身、ちょうど、関係するシーンに関係する何らかのマルチメディアデータのように、前記端末にエレメンタリーストリームとして輸送される。いくつかの要求が、明らかに、輸送されたデータの適切なフレーミングと、タイムスタンプ化（タイムスタンプは、前記ストリームにおける時間情報に関係する情報ユニットである）とに鑑みて、ＢＩＦＳエレメンタリーストリーム輸送に加えられる。ＭＰＥＧ−４標準のシステム部分に従って、アクセスユニットレイヤ（すなわちＡＬ）は、エレメンタリーストリームデータを、ストリーム多重化インタフェースにおける通信に、タイムスタンプ化アクセスユニットおよびタイムベース情報の双方を輸送することによって適合させる（同じ復号化時間に属するすべての連続的なデータは、１つのアクセスユニットを形成する）。ＡＬエンティティ間で交換される最小のプロトコルユニットは、アクセスユニットレイヤプロトコルデータユニット（ＡＬ−ＰＤＵ）と呼ばれるアクセスユニットのセグメントであり、エラー検出および流れるＡＬ−ＰＤＵペイロードのフレーミングに有用なＡＬ−ＰＤＵヘッダと、前記エレメンタリーストリームデータを含むデータフィールドであるＡＬ−ＰＤＵペイロード自身とから成る。同様に、フレックスマックスエンティティ間で交換されるフレックスマックスストリームの最小のプロトコルユニットは、フレックスマックスプロトコルデータユニット（ＦＭ−ＰＤＵ）と呼ばれる。ＦＭ−ＰＤＵに関しては、ＦＭ−ＰＤＵヘッダ（ＦＭ−ＰＤＵペイロードに先行し、このＦＭ−ＰＤＵのペイロードが属するフレックスマックスチャネルを識別する情報）と、ＦＭ−ＰＤＵペイロードそれ自身（ＦＭ−ＰＤＵのデータフィールド）とから成る。１つ以上のＡＬ− ＰＤＵを、指定されたモード（単純モード、マックスコードモード）にしたがって、ＦＭ−ＰＤＵ中に埋め込む。以下の説明において、一定長のパケットサイズで規定される伝送またはトランスポートネットワークの２つの例、ＭＰＥＧ−２トランスポートストリーム（ＭＰＥＧ−２ＴＳ）および非同期伝送モード（ＡＴＭ）を考察する。ＭＰＥＧ− ２ＴＳパケットは、１８８バイト長であり、５バイトのヘッダおよび１８４バイトのペイロードを含み、ＡＴＭセルは、５３バイト長であり、５バイトのヘッダおよび４８バイトのペイロードを含む。パケットサイズがこれらのネットワークによって一定であるため、ＭＰＥＧ−４データの場合において、アクセスユニットの最終セグメントを適合させる問題がある。ここで、前記ネットワーク上を伝送すべき最終セグメントの最後の部分を形成するために、詰め込みメカニズムを使用することを提案する。適合化のメカニズムがＭＰＥＧ−２システムによって与えられ、これに従って、いわゆる適合フィールドは、異なったサイズのデータをＭＰＥＧ−２ＴＳストリーム内にカプセル化することができることを思い出さなければならない。ＭＰＥＧ−４レベルにおける適合化を行うのに選択されるこのメカニズムは、ネットワーク処理前にきわめて時間を消費する（より一般的な視点において、前記カプセル化をＭＰＥＧ−４レベルにおいて行う場合、何の適合化もしないＡＴＭのようなネットワークを処理しなければならない）。ＭＰＥＧ−２ＴＳパケットの詰め込みの一例を示す図３に示すように、アクセスユニットを、ＡＬ−ＰＤＵを発生するためにセグメント化し、これらのＡＬ−ＰＤＵの各々を、時間および配置パラメータを示すＡＬ−ＰＤＵヘッダでトリガする。前記最終パケットは、ネットワークパケット（１つのＭＰＥＧ−２ＴＳパケット＝１８８バイト）に適合せず、詰め込みバイトのみから成る詰め込みパケット（この場合において、２５バイトのパケット）を、前記アクセスユニットの最終セグメントに付加する。以下の部分、すなわち、詰め込みパケット（２５バイト）と、前記詰め込みパケットのＡＬ−ＰＤＵヘッダ(１バイト)と、関係するＦＭ−ＰＤＵヘッダ（２バイト：フレックスマックスチャネル番号ＦＭＣ用の１バイト、長さフィールドＬＥＮ用の１バイト）と、前記最終パケットの連続的な同様の部分（ペイロード２＝１５０バイト、ＡＬ−ＰＤＵヘッダ＝４バイト、ＦＭ−ＰＤＵヘッダ＝２バイト、ＴＳヘッダ＝４バイト）との付加が、ＭＰＥＧ−２ＴＳパケットの長さ（＝１８８バイト）を実際に与えることがわかる。図３は、ＭＰＥＧ−２ＴＳの情況における詰め込みバイトによるカプセル化のメカニズムを示し、図４は、ＡＴＭの情況における同様のメカニズムを示し、（この場合において）１５バイトの詰め込みパケットと、５バイトのＡＴＭヘッダとを共に示す。双方の場合において、前記パケットは、以下に示すように形成される。ネットワークパケット＝ネットワークヘッダ（ＴＳ，ＡＴＭ）＋ネットワークペイロード；ネットワークペイロード＝ＦＭ−ＰＤＵ；（３）ＦＭ−ＰＤＵ＝ＦＭ−ＰＤＵヘッダ＋ＦＭ−ＰＤＵペイロード；（４）ＦＭ−ＰＤＵぺイロード＝ＡＬ−ＰＤＵ（５）ＡＬ−ＰＤＵ＝ＡＬ−ＰＤＵヘッダ＋ＡＬ−ＰＤＵペイロード；（６）ＡＬ−ＰＤＵペイロード＝アクセスユニットの１セグメント（７）アクセスユニット＝□（アクセスユニットのセグメント）、最後の１つは、一般的に、関係するネットワークに関係する一定パケットサイズに適合するには小さすぎる。ＭＰＥＧ−２ＴＳまたはＡＴＭに関して、前記詰め込みパケットのサイズを計算しなければならない。前記サイズの計算方法を図５に示し、この方法は、以下のサブステップ、すなわち、 − 該計算プロセスの初期化（ＩＮＩＴ）後に、前記アクセスユニットにおけるセグメントの数ＳＥＧＮＵＭを検出するサブステップと、 − 第１セグメントＦＳを利用可能にし、前記セグメントの数を調査する（ＳＥＧＮＵＭ＞１？）サブステップと、 − 前記数が２以上（ＳＥＧＮＵＭ＞１？に対してＹＥＳの返答）の場合、前記第１セグメントに対応するネットワークパケットを、関係するトランスポートネットワークに対応する適切なヘッダを付加することによって形成し（ＮＰＢＵＩＬＴ）、次のセグメントＮＳを利用可能にするサブステップと、 − 前記次のセグメントが最後の１つではない（ＬＡＳＴＳＥＧ？に対してＮＯの返答）場合、フィードバック接続が、前記次のセグメントに対応するネットワークパケットを同様に形成（ＮＰＢＵＩＬＴ）していくループを形成するサブステップと、 − これと相違して、前記セグメントが最後の１つである（ＬＡＳＴＳＥＧ？に対してＹＥＳの返答）場合、詰め込みサイズＰＳを、この最終セグメントのサイズおよび前記ネットワークパケットのサイズ間の差によると共に、異なったヘッダの値を考慮して計算するサブステップと、 − 数ＳＥＧＮＵＭが１以下（ＳＥＧＮＵＭ＞１？に対してＮＯの返答）の場合、１つのセグメントに対する詰め込みサイズＰＳを、以前のステップにおいて示したように計算するサブステップと、 − 前記詰め込みサイズが計算されるとすぐに、詰め込みバイトを有する対応する完全なネットワークパケットを形成し（このパケットをＮＰＷＰＢと呼ぶ）、これは前記関係するネットワークのパケットのサイズに適合するサブステップとを具える。

Claims

【特許請求の範囲】１．データを一定サイズのネットワークトランスポートパケット中にカプセル化する方法であって、前記データが、オーディオービジュアルオブジェクトの符号化表現の連続的で別々にアクセス可能な部分において構成されたものであり、前記部分の各々がセグメントに再分されている方法において、前記各々の部分の最終セグメントを前記トランスポートネットワークの一定サイズに整合させるために、特別な詰め込みパケットを前記最終セグメントの各々に付加するために与えられた詰め込みステップを具えることを特徴とする方法。２．請求の範囲１に記載の方法において、前記データがＭＰＥＧ−４形式のマルチメディアデータであり、アクセスユニットすなわちＡＵと呼ばれる前記部分の各々を、アクセスユニットレイヤーパケットデータユニットすなわちＡＬ−ＰＤＵに再分することを特徴とする方法。３．請求の範囲１または２に記載の方法において、前記各々の連続する部分の詰め込みパケットのサイズを、以下のサブステップ、 − 前記各部分のセグメント数を検出および検査するサブステップと、 − 前記数が２以上の場合、一定サイズの各々の連続するネットワークパケットを、関係するトランスポートネットワークに対応する最後の１つの適切なヘッダを除いて、各セグメントに付加することによって形成し、次に、前記詰め込みパケットのサイズを、前記最後のセグメントのサイズと、前記ネットワークパケットのサイズとの差によると共に、前記ヘッダの値を考慮して計算するサブステップと、 − 前記数が１以下の場合、前記詰め込みパケットのサイズを、この１個のセグメントのサイズと、前記ネットワークパケットのサイズとの差によると共に、前記ヘッダの値を考慮して計算するサブステップと、 − 前記詰め込みパケットのサイズに基づいて、前記最後または１個のセグメントに対応する最終的な完全なネットワークパケットを形成するサブステップとにしたがって計算することを特徴とする方法。