JP2005502284A - 複数のターミナルへのマルチメディア信号のブロードキャスト方法 - Google Patents

複数のターミナルへのマルチメディア信号のブロードキャスト方法 Download PDF

Info

Publication number
JP2005502284A
JP2005502284A JP2003526161A JP2003526161A JP2005502284A JP 2005502284 A JP2005502284 A JP 2005502284A JP 2003526161 A JP2003526161 A JP 2003526161A JP 2003526161 A JP2003526161 A JP 2003526161A JP 2005502284 A JP2005502284 A JP 2005502284A
Authority
JP
Japan
Prior art keywords
session
packets
mpeg
bifs
versions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003526161A
Other languages
English (en)
Other versions
JP4391231B2 (ja
JP2005502284A5 (ja
Inventor
コタルマナク,アレクサンドル
キューレ,ドミニク
ヴェヤール,ミシェル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of JP2005502284A publication Critical patent/JP2005502284A/ja
Publication of JP2005502284A5 publication Critical patent/JP2005502284A5/ja
Application granted granted Critical
Publication of JP4391231B2 publication Critical patent/JP4391231B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26275Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for distributing content or additional data in a staggered manner, e.g. repeating movies on different channels in a time-staggered manner in a near video on demand system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5603Access techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

複数のターミナルへのマルチメディア信号のブロードキャスト方法。
本発明は、連続的なパケットを有し、該パケットは複数のセッション内に構成され、各セッションは全体を形成する一組のパケットよりなり、前記セッションの少なくとも幾つかは、異なる開始時間に対応する幾つかのバージョン下で送信されてなる、データフローとしての複数のターミナルへのマルチメディア信号のブロードキャスト方法に関する。
本発明によれば、このような方法は同じセッションのバージョンを併合する機構を実現し、異なる時間で発した少なくとも2つのバージョンが、それらに特有なセッションの部分を先ず使用し、次いで共有されるセッションの部分を使用する。

Description

【技術分野】
【0001】
本発明は、プレゼンテーション(例えば、MPEG−2)へのランダムアクセスを可能にするブロードキャストにおけるマルチメディアプレゼンテーション、或いは信号(MPEG−4プレゼンテーション等)のブロードキャストに関する。
【背景技術】
【0002】
このようなランダムアクセスを可能にするには、幾つかのターミナルが異なる間隔でプレゼンテーションの開始を取得できるように、所定のプレゼンテーションを何度かブロードキャストしなければならない。
【0003】
MPEG−2トランスポートチャネル上でのMPEG−4プレゼンテーションはMPEG−2システムに対する補正書7において最近記載されている。
【0004】
しかし、この補正書7は充分ではなく、更新が必要と思われる。本発明はMPEG−4のプレゼンテーションを試行及び構築してから補正書7に従い該プレゼンテーションを達成できるか送信しないかを判断するものである。これは我々に放って置かれた或いは効率的に取り扱うことが不可能な機能があることを指摘させた。
【0005】
その後、MPEG−4のプレゼンテーションの完全な送信を可能とするために補正書7の最小限の修正を試みた。このプロセスは徐々に増えていき、この書類は利用できない機能の点で現在何ができないか、及びMPEG−2のトランスポートチャネル(以下、MPEG−2はMPEG−2トランスポートを意味する)上でMPEG−4プレゼンテーションのブロードキャストにおけるMPEG−4の完全な機能を達成させるための我々の結論の点で現在何ができないかを整理しようとしていた。
【0006】
1 従来技術:補正書7の監査
1.1 MPEG−4の基本的ストリームの意味
MPEG−2の特徴の1つはプレゼンテーションへのランダムアクセスを可能にすることである。MPEG−2に従いMPEG−4のプレゼンテーションを送信する場合のこの意味に焦点を当ててみる。
【0007】
現在の殆どのMPEGの用語は付記1に定義されている。
【0008】
付記2にはMPEG−4プレゼンテーションの例が記載されている。
【0009】
付記3は従来技術によるMPEG−2マッピング上のMPEG−4に関連する。
【0010】
1.1.1 BIFS ES.
前提:プレゼンテーションへのランダムアクセスは2人の異なるユーザに同じプレゼンテーションを提供する。
【0011】
主張:RAPではないBIFSコマンドESのアクセスユニットはシーングラフ構造を修正する。
【0012】
理由:そうでなければ、2人の異なるユーザが同じ時点で同じプレゼンテーションを有することはない。より正確には、プレゼンテーションへのランダムアクセスがあるから、我々は上記のような構造の修正の後にRAP AUを想定することができるのである。RAPは必ずシーンの交換であり、シーンの交換は修正されたシーングラフである。従って、2人のユーザが同じプレゼンテーションを経験することはない。
【0013】
結論:
a) 更新はプレゼンテーション目的ではなくシーン構造の構築にのみ使用される。従って、プレゼンテーションは非常に動的ではない。多くのMPEG−4プレゼンテーションはMPEG−2上では送信できない。例えば漫画は正常には取り扱えないであろう。
【0014】
b) 静的なプレゼンテーションの場合でも、非常に短い時間内ではリソースが利用可能か或いは利用可能となるであろうが、これはプレゼンテーションが大きい場合、帯域幅のために不可能である。これは、貧弱なプレゼンテーションとなるであろう(暫くして画像抜けがおきるであろう)。
【0015】
1.1.2 ODES.
前提:プレゼンテーションへのランダムアクセスは2人の異なるユーザに同じプレゼンテーションを提供する。
【0016】
主張:RAPではないODESのアクセスユニットはストリーム構造を修正すべきではない。
【0017】
理由:そうでない場合、2人の異なるユーザが同じ時点で同じプレゼンテーションを有することはない(BIFSを参照)。
【0018】
結論:ODはプレゼンテーション内の修正を意味しないため、これはプレゼンテーションを変更しない。
【0019】
1.1.3 JPEG、MPEG−J
主張:JPEG及びMPEG−JはPESに送信しなければならない。
【0020】
理由:補正書7を参照されたい。セクションではBIFS及びODだけしか実行できない。
【0021】
結論:
a) セクションにおける既存のエラー検出機構は使用できない。JPEGかMPEG−Jか、或いはデータが破損しているかしていないかを知ることは重要であり得る。
【0022】
b) JPEG或いはMPEG−J用のアクセスユニットのコピーを受信するMPEG−4ターミナルの挙動は特定されていない(或いは許可されない)。
【0023】
1.1.4 オーディオ及びビデオ
主張:オーディオ及びビデオはPESに送信しなければならない。
【0024】
理由:補正書7を参照されたい。セクションではBIFS及びODだけしか実行できない。
【0025】
結論:
a) オーディオ「ジングル(jingles)」及び「ビープ(beeps)」ならびに「ビデオクリップ(video clips)」は正常には取り扱えない。
【0026】
b) オーディオ、ビデオ用のアクセスユニットのコピーを受信するMPEG−4ターミナルの挙動は特定されていない(或いは許可されない)。
【0027】
1.2 コメント
通常の使用状況では、我々は複数のユーザに対し、プレゼンテーションの一部を同じアニメーションとして経験させ、他の部分はそう見せたくない。補正書7はMPEG−4のプレゼンテーションの範囲を殆ど静的なBIFSシーン及び流れたオーディオ及びビデオに限定する。
【0028】
漫画や軽量なads等のアプリケーションは正常に取り扱うことはできない。
【0029】
1.3 セクションのバージョン
MPEG−2はセクションにバージョン番号を与えることを可能にする。しかし、バージョン番号の数値が増える場合、バージョン番号の意味は状態の変更の信号である。
【0030】
上述のRAP機構によれば、MPEG−4により提供される更新機構の使用は許可されない。実際、始まるセッションは第1利用可能セクションとなり、次いで全て次のバージョン番号となる。これは更新機構を扱う上で非常に制限された複雑な方法となる。
【発明の開示】
【発明が解決しようとする課題】
【0031】
2 本発明のプレゼンテーション
2.1 目的
本発明の目的は従来技術の異なる欠点を克服することである。
【0032】
特に本発明は上述の問題点を解決することを目的とし、特にシステムデータ(BIFS−Command ストリーム、OD−ストリーム、MPEG−J及びJPEG ストリーム)を保護し、例えばブロードキャストシーンのBIFS更新機構等のMPEG−4機能の保存(必要な帯域幅を大幅に増加せずに)することを目的とする。
【課題を解決するための手段】
【0033】
2.2 本発明の主な特徴
後述するこれら及びその他の目的は、連続的なパケットを有し、該パケットは複数のセッション内に構成され、各セッションは全体を形成する一組のパケットよりなり、前記セッションの少なくとも幾つかは、異なる開始時間に対応する幾つかのバージョン下で送信されてなる、データフローとしての複数のターミナルへのマルチメディア信号のブロードキャスト方法によって達成される。
【0034】
本発明によれば、この方法は同じセッションのバージョンを併合する機構を実現し、異なる時間で発した少なくとも2つのバージョンが、それらに特有なセッションの部分を先ず使用し、次いで共有されるセッションの部分を使用する。
【0035】
本発明は、連続的なパケットを有し、該パケットは複数のセッション内に構成され、各セッションは全体を形成する一組のパケットよりなる、データフローとしての複数のターミナルへのマルチメディア信号のブロードキャスト方法に関する。
【0036】
本発明によれば、前記パケットのそれぞれは、前記フロー内で、対応するセッションの次のパケットを識別するためのポインタを有し、前記フロー内の少なくとも2つの異なるパケットのために、前記パケットの少なくとも幾つかが前記次のパケットとして識別されるように前記フローが構成される。
【0037】
好ましくは、前記セッションの少なくとも幾つかは、異なる開始時間に対応する幾つかのバージョン下で送信され、前記ポインタは前記フロー内で、対応するセッションのバージョンの次のパケットを識別し、セッションの異なるバージョンに属するパケットのポインタは、バージョンを併合すべく、同じ次のパケットにポイントを合わせることが可能である。
【0038】
オプションとして、前記ポインタは、現在のパケットのバージョンの識別子とは異なるバージョン識別子を有する。
【0039】
本発明の便利な特徴によれば、前記各パケットは、
現在のバージョンの識別子と;
次のバージョンの識別子と、を有し、
前記次のバージョンの識別子は、
前記現在のバージョンの識別子、或いは
複数のバージョンが併合された場合には、異なるバージョンの識別子の何れかである。
【0040】
オプションとして、前記方法はMPEG2の標準を実施する。
【0041】
前記データはMPEG−4タイプであることが有利である。
【0042】
本発明は上記方法によりブロードキャストできる構造を有するマルチメディア信号にも関する。
【0043】
本発明は上記方法によりマルチメディア信号のブロードキャストを処理する手段を有するターミナルにも関する。
【0044】
該ターミナルは、事前に受信した少なくとも幾つかのセッション部分を記憶する手段を更に有するのが有利である。
【0045】
2.3 図面
本発明のその他の特徴及び利点は、例示を目的とし限定を目的としない以下の好ましい2つの実施例及び添付図面により明らかとなろう。
【発明を実施するための最良の形態】
【0046】
2.4 MPEG−4セクションの定義
システムデータをアドレス指定するために、我々はMPEG−4セクションの定義を拡大することを提案している。これは1つのMPEG−4セクションを全ての異なるストリームタイプ用に定義するという意味である。そうすることにより、(例えばボタンをクリックする時に反復されるビープ音等の)ブロードキャストセッションで繰り返される小さなオーディオサウンド、小さなビデオクリップの機能を提供することが可能となる。
【0047】
本明細書では、セクションのタイプはBIFSストリーム及びODストリーム用に定義されている。我々は全てのISO/IEC14496内容のための包括的なセクションタイプを追加することを提案している。以後、BIFS及びODセクションタイプを使用しないことが推奨されよう。
【0048】
修正の詳細は本明細書の最後に記載される。
【0049】
2.5 MPEG−4セクションへの前方参照の追加
2.5.1 機構
プレゼンテーションへのランダムアクセスで生じる問題に対処するため、我々はMPEG−4セクションにおいて前方参照機構を定義する。これにより、互いに接続された何人かのユーザがパケット共有しながら同じ動的プレゼンテーションを経験することができる。
【0050】
エンドユーザにプレゼンテーションを提供する一連のデータをセッションと呼ぶことにする。各セッションは単一のPMTに関連している。
【0051】
プレゼンテーションにランダムアクセスさせることは、幾つかのセッションを同時に送信することを意味する。我々に関連する送信時間、デコード時間及び合成時間という3つの異なる時間を考慮すべきである。明瞭化のために、合成時間はデコード時間と等しいと仮定する。デコード時間及び合成時間はプレゼンテーションされるオブジェクトにリンクされておりプレゼンテーションを成し遂げるものである。送信時間は一連の流されたデータユニットに関連する。
【0052】
アクセスユニットを受信できる最後の月は、そのデコード時間である。アクセスユニットはデコード時間後には到着できない。
【0053】
我々の目的は如何にして多数のセッションを送信するか、即ち、セッション間でデコード時間を保存できるように送信に従って如何にしてデータユニットを注文するかを説明することである。即ち、複数のセッションを独立させて扱う場合、多重化の問題が良く知られている。しかし我々の場合、セクションデータを共有することにより、セッション間で送信されるデータを試みたり因数分解することができる。これは必要な帯域幅を短くする助けとなる。
【0054】
これを達成するため、我々は複数のセクションにおける前方参照機構を提案する。各セクションには番号が付けられ次のセクションを参照する。従って、2つのセクションは次の同じセクションを参照しても良い。
【0055】
これを初期化するために、各PMT(ドキュメントSL_記述子及びFMC_記述子の最後を参照)における第1セクションを知らせ、field media_session_number(ベース及びエクステンション)のおかげでセクションにバージョン付けするための新たな意味を提案する。更新は高い周波数で送信しても良いため、我々はこの目的のために10ビットを割り当てることを提案する。これら2つの変化により、更新機構にアドレス付けすることができ、どのセクションをセッションによりデコードするかを制御することができる。
【0056】
するとバージョン付けの意味は、
( PMTを取得する場合、ターミナルは対応する記述子(SL或いはFMC)により示されるmedia_session_numberを有するセクションを探さなければならない。
( セクションを取得する場合、ターミナルはnext_session_version−numberにより示されるmedia_session_numberを有する次のセクションを探さなくてはならない。
【0057】
2.5.1.1 帰結及び結果
この機構は完全な更新機構を提供しJPEG、MPEG−J等の高価なリソースを共有することを可能にする。
【0058】
この機構はMPEG−4ターミナルからは完全に独立しており、これはMPEG−2トランスポート多重分離装置のアプリケーションの特定する一部を修正することを意味する(即ち、我々がDMIFの形式主義を考察する場合にはトランスポート層)。
【0059】
我々は小さなプレゼンテーションを周期的に送信させるセクションの前方参照パターンを計算した。我々はこの機構により生成されるパケットを、セッションがデータを共有しない単一の多重化方式と比較した。各セッションが出発した周波数は1Hzであり、更新の周波数は4Hzであり、プレゼンテーションには12個の更新があった。その場合、使用した帯域幅はこの方式の半分であった。
【0060】
2.6 修正
2.6.1 table_id指定の表2−26
【表1】
Figure 2005502284
【0061】
2.6.2 セクション定義の表2−63
【表2】
Figure 2005502284
【0062】
table_id−ISO_IEC_14496_sectionの場合、この8ビットフィールドは「0x04」或いは「0x05」或いは「0x06」に送られる。値「0x04」はISO/IEC 14496−1のシーン記述ストリームを実行するISO_IEC_14496_scene_description_sectionを示す。「0x05」の値はISO/IEC 14496−1オブジェクト記述子ストリームを実行するISO_IEC_14496_object_descriptor_sectionを示す。「0x06」の値はISO/IEC 14496−1ストリームを実行するISO_IEC_14496_generic_sectionを示す。
【0063】
section_syntax_indicator−この1ビットのフィールドは「1」に設定すべきである。
【0064】
private_indicator−この1ビットのフィールドはこの規格では特定すべきではない。
【0065】
ISO_IEC_14496_section_length−この12ビットのフィールドはISO_IEC_14496_section__length fieldの直後からISO_IEC_14496_sectionの最後までのセクションに残っているバイト数を特定する。このフィールドの値は4093(0xFFD)を超えてはならない。
【0066】
table_id_extension−この16ビットのフィールドはこの規格では特定すべきではない。その使用法及び値はユーザが定義する。
【0067】
media_session_number_base−[この5ビットのフィールドとはISO_IEC_14496_tableのメディアバージョン番号の最も重要な部分を示す。media_session_numberの最も重要ではない部分はmedia_session_number−extensionである。メディアバージョン番号は表の各新たなメディアセッションと共に1024を法とする1ずつ増加する。メディアセッション制御はアプリケーションの自由裁量である。]
【0068】
current_next_indicator−この1ビットのフィールドとは1に設定すべきである。
【0069】
section_number−この8ビットのフィールドはISO_IEC_14496_sectionの数を示す。目的記述子の表或いはシーン記述子の表の最初のISO_IEC_14496_sectionのsection_numberのフィールドの値は0x00である。section_numberの値は表においてそれぞれ追加的セクションと共に1ずつ増加する。
【0070】
last_section_number−この8ビットのフィールドはこのセクションの一部である目的記述子表或いはシーン記述表の最後のセクションの数を特定する。
【0071】
media session number extension−この5ビットのフィールドとはISO−IEC−14496の表のメディアセッション番号の最も重要ではない部分を示す。
【0072】
next_media_session_number−この10ビットのフィールドは取得しなければならない次のセクションの次のメディアセッション番号を示す。
【0073】
PMT_has_SL_descriptor(current_PID)ー ISO_IEC_14496_sectionを送信するISO/IEC 13818−1のプログラム要素用のプログラムマップ表における記述子ループにSL記述子が含まれていれば真となる疑似機能。
【0074】
SL_Packet()−ISO/IEC 14496−1のサブ項目10.2.2に特定される同期層パケット。
【0075】
PMT_has_FMC_descriptor(current_PID)−ISO_IEC_14496_sectionを送信するISO/IEC 13818−1のプログラム要素用のプログラムマップ表における記述子ループにFMC記述子が含まれていれば真となる疑似機能。
【0076】
FlexMuxPacket()−ISO/IEC 14496−1のサブ項目11.2.4に特定されるFlexMux Packet。
【0077】
CRC_32−この32ビットのフィールドは、ISO_IEC_14496_sectionの全体の処理後にITU−T Rec. H.222.0I ISO/IEC 13818−1の付記Aに定義されるデコーダにおいてレジスタの0出力を与えるCRC値を含む。
【0078】
2.63 記述子
2.6.3.1 SL記述子
【表3】
Figure 2005502284
【0079】
2.6.3.2 SL記述子内のフィールドの意味の定義
ES_ID−この16ビットのフィールドはISO/IEC 14496−1 SL−packetized streamの識別子である。
【0080】
next_media_session_number−このフィールドはターミナルによりコンパイルされるべきセクションのメディアセッションを特定する。
【0081】
2.6.3.3 FMC記述子
【表4】
Figure 2005502284
【0082】
2.6.3.4 FMC記述子内のフィールドの意味の定義
ES_ID−この16ビットのフィールドはISO/IEC 14496−1SL−packetized streamの識別子を特定する。
【0083】
FlexMuxChannel−この8ビットのフィールドはこのSL−packetized streamに使用されるFlexMuxチャネルの数を特定する。
【0084】
next_media_session_number−このフィールドはターミナルによりコンパイルされるべきセクションのメディアセッションを特定する。
【0085】
2.7 例(図3〜7)
図3は、本発明の全般的な方法を示す。MPEG−2信号は関連するセッションを記述した第1プログラムマップテーブル(PMT)31よりなる。信号には幾つかの同様なPMT32(1つのみ図示)が挿入され、それらが信号に接続される度に対応するプレゼンテーションをターミナルに取得させる。PMT31,32はそれぞれ異なるバージョンのセッションに対応する。
【0086】
従って、PMT31はバージョン番号311(バージョン「1」)を有し、これにより、セッション(矢印34)のバージョン「1」に考慮される以下のパケット33をターミナルに識別させる。同様に、パケット33は、
バージョン番号331(前のパケットにより指定される)と;
次のバージョン番号332(更なるパケットを指定、矢印35 )とを有する。
【0087】
同じ構造がPMT32(矢印36,37)からセッション(バージョン「2」)の第2のバージョンに使用される。
【0088】
最初は、一般に次のバージョン番号が現在の番号である。しかし、本発明によれば、矢印38に示すように次のバージョン番号が現在の番号ではなく異なるバージョン番号を指定することも可能である。この場合、パケット39及び310(同じセッションの2つの別個のバージョンに属する)が同じパケット311に指定する。換言すると、2つのバージョン(或いはそれらバージョンの一方を飛ばす)の組み合わせが存在する。
【0089】
従って、パケット311は、同時にセッションの受理を開始しないターミナルにより使用されるであろうが、一度しか送信されない。これは、送信すべきデータの量を低減し(特にパケット311が大きい場合)、ターミナル内でいつでも素早く開始するのに非常に有効である。
【0090】
勿論、ターミナルの開始が遅ければ(即ち、PMT32で)、パケット311の受信が早すぎることはあり得る(前のパケットの処理が達成されていない)。その場合、ターミナルはバッファ内の対応するデータの処理を延期すべくそれを記憶する。
【0091】
同様に、いつでも要求できる特定のシーケンス(ジングル或いはシーン等)を一度だけ(或いは制限された回数だけ)送信することができ、ターミナルに記憶される。このシーケンスは要求され次第、指定されたバージョン番号と共に、既に記憶されたものとして識別される。
【0092】
図4(図3と類似する)は、セッションの融合においてセッションを如何にして相互に作用するかを示す。図5はストリーム相互作用の場合にセッションを如何にして相互に作用するかを示す。PMT51,52はBIFSの基本的ストリーム53,54(図4と同様)、及びODの基本的ストリーム55を指摘する。更に、JPEG−ESストリーム56はパケット57及びパケット58により指摘される。
【0093】
図6は本発明による前方参照機構を示す。図7はMPEG−2による本方法の使用例の詳細を開示する。これは時間の経過軸線の一連のパケットを示す(4本の連続した線を示し、線の第1パケットが前の線の最後のパケットに時間内に続く)。
【0094】
[付記1]
MPEG−4の定義
1. アクセスユニット(AU)
基本的ストリーム内のデータの個々にアクセス可能な部分。アクセスユニットは、タイミング情報が帰する最小のデータ要素である。
【0095】
2. アルファマップ
テクスチャーマップに関連する透明なパラメータの表示である。
【0096】
3. オーディオビジュアル目的
オーディオ及び/或いはビジュアルな明示を有する自然或いは人工的な表示である。この表示はBIFSシーン記述内の1つのノード或いはノードの1グループに対応する。各オーディオビジュアル目的は一つ或いは複数の目的記述子を使用してゼロ或いはそれ以上の基本的ストリームに関連付けされている。
【0097】
4. オーディオビジュアルシーン(AVシーン)
シーン記述情報と共に目的及びユーザの相互作用から生じる挙動を含む空間的及び時間的経過順の属性を定義する一組のオーディオビジュアル目的である。
【0098】
5. シーン用のバイナリフォーマット(BIFS)
パラメータシーン記述フォーマットのコード付けされた表示である。
【0099】
6. バッファモデル
プレゼンテーションのデコードに必要なバッファリソースをISO/IEC 14496に準拠するターミナルが如何にして管理するかを定義するモデル。
【0100】
7. 配列されたバイト
コード付けされたビットストリームにおける位置であり、該ストリームの第1ビットから複数の8ビット組分離れた位置。
【0101】
8. クロックレフェレンス
時間ベースの読みを送信する特別な時間スタンプである。
【0102】
9. 合成
空間及び時間の経過順の属性及びオーディオビジュアル目的の階層を識別するためのシーン記述情報を適用するプロセス。
【0103】
10. 合成メモリ(CM)
合成ユニットを有するランダムアクセスメモリである。
【0104】
ll. 合成時間スタンプ(CTS)
合成ユニットの公称合成時間の表示である。
【0105】
12. 合成ユニット(CU)
アクセスユニットからデコーダが生成する出力のうち個々にアクセス可能な部分である。
【0106】
13. 圧縮層
基本的ストリームのコード化された表示とそのデコードされた表示との間の変換を行うISO/IEC 14496の規格によるシステムの層である。デコーダを含む。
【0107】
14. デコーダ
基本的ストリームのコード化された表示とそのデコードされた表示との間の変換を行う要素である。
【0108】
15. デコーディングバッファ(DB)
アクセスユニットを含むデコーダの入力でのバッファである。
【0109】
16. デコーダの構成
基本的ストリームの記述子に含まれる情報を使用して基本的ストリームデータを処理するためのデコーダの構成である。
【0110】
17. デコーディング時間スタンプ(DTS)
アクセスユニットの公称デコーディング時間の表示である。
【0111】
18. 配信層
大量の多重化基本ストリーム或いはFlexMux ストリームを記憶或いは送信可能な配信機構(コンピュータネットワーク等)のための一般的アブストラクトである。
【0112】
19. 記述子
基本的ストリーム或いはコード化されたオーディオビジュアル目的の特定の態様を記述するために仕様されるデータ構造である。
【0113】
20. DMIFアプリケーションインターフェース(DAI)
ISO/IEC 14496−6に特定されるインターフェースである。該インターフェースはここでは、SLパケット化されたストリームデータの交換と、同期層及び配信層間の関連する制御情報をモデル化するのに使用される。
【0114】
21. 基本的ストリーム(ES)
単一のソース要素から圧縮層上の単一の目的地要素までのモノメディアデータの一連の流れである。
【0115】
22. 基本的ストリームの記述子
エンコードフォーマット、初期化情報、同期層構成及び基本的ストリームに送信される内容に関するその他の記述情報を記述する目的記述子に含まれる構造である。
【0116】
23. 基本的ストリームインターフェース(ESI)
基本的ストリームデータの交換と、圧縮層及び同期層間の関連する制御情報をモデル化するインターフェースである。
【0117】
24. FlexMuxチャネル(FMC)
1つのFlexMuxストリーム内の異なる構成ストリームに属するデータ同士を区別するラベルである。FlexMuxストリーム内の1つのFlexMuxチャネルにおける一連のデータは単一のSLパケット化されたストリームに対応する。
【0118】
25. FIexMuxパケット
FlexMuxツールにより管理される最小のデータ要素である。これはヘッダ及びペイロードよりなる。
【0119】
26. FIexMuxストリーム
一つ或いは複数のSLパケット化されたストリームからのデータを有する一連のFlexMuxパケットであり、それぞれが自身のFlexMuxチャネルにより識別される。
【0120】
27. FlexMuxツール
多重データストリームからのデータのインターリービングを許容するツールである。
【0121】
28. グラフィックプロフィール
シーン記述ストリーム内で使用できるBIFSツールの許容し得るグラフィック要素のセットを特定するプロフィールである。BIFSはグラフィック記述要素とシーン記述要素の両方よりなる。
【0122】
29. インター
以前にコード化されたパラメータを使用して予測を構築するコード化パラメータ用のモード。
【0123】
30. イントラ
以前にコード化されたパラメータを参照せずにエンコードを実行するコード化パラメータ用のモードである。
【0124】
31. 初期目的記述子
受信ターミナルに、ISO/IEC 14496に従ってエンコードされた内容の一部への初期アクセスを可能とさせる特別な目的記述子である。これはプロフィール及びレベル情報を運んで内容の複雑さを記載する。
【0125】
32. 知的所有権の識別(IPI)
一つ或いは複数のオーディオビジュアル目的の一部に対応する一つ或いは複数の基本的ストリームの独特な識別である。
【0126】
33. 知的所有権の管理及び保護(IPMP)システム
知的所有権を管理し保護する機構及びツールのための一般的用語である。そのようなシステムへの唯一のインターフェースが規範的に定義されている。
【0127】
34. 目的クロックレフェレンス(OCR)
基本的ストリームのエンコーダの時間ベースを回復するためにデコーダにより使用されるクロックレフェレンスである。
【0128】
35. 目的内容情報(OCI)
一つ或いは複数の基本的ストリームを介して送信される内容に関する追加的情報である。該情報は集合して基本的ストリームの記述子となったものか、或いはそれ事態が基本的ストリームとして運ばれたものである。
【0129】
36. 目的記述子(OD)
基本的ストリーム記述子により一つ或いは複数の基本的ストリームとして集合し、論理従属性を定義する記述子である。
【0130】
37. 目的記述子コマンド
目的記述子或いは目的記述子のIDのリスト上で行われる、例えば更新や削除などのアクションを識別するコマンドである。
【0131】
38. 目的記述子プロフィール
許可される目的記述子ツール及び同期層ツールの構成を特定するプロフィールである。
【0132】
39. 目的記述子ストリーム
目的記述子コマンド内にカプセル化された目的記述子を送信する基本的ストリームである。
【0133】
40. 目的時間ベース(OTB)
所定の基本的ストリームに対して、従ってそのデコーダに対して有効な時間ベースである。OTBは目的クロックレフェレンスを介してデコーダに送信される。この目的のデコーディング処理に関する全ての時間スタンプはこの時間ベースを参照する。
【0134】
41. パラメトリックオーディオデコーダ
ISO/IEC 14496−3の規格により、6Kbps〜16Kbps間のビットレートでコード化された音声信号を表しデコード化する一組のツールである。
【0135】
42. サービスの質(QoS)
基本的ストリームが自身が送信される送信チャネルから要求する性能である。QoSは一組の(例えば、ビットレート、遅延ジッタ、ビットエラーレート等の)パラメータにより特徴付けされる。
【0136】
43. ランダムアクセス
基本的ストリーム内の任意な時点で表示の読み及びデコードを開始するプロセスである。
【0137】
44. レフェレンスポイント
定義された特性を有するシステムのデータ或いは制御フロー内の場所である。
【0138】
45. レンダリング
シーン記述及びその構成オーディオビジュアル目的を共通の表示スペースから特定の表示装置(即ち、スピーカや視界窓)に送信するアクションである。
【0139】
46. レンダリングエリア
シーン記述及びその構成オーディオビジュアル目的がレンダリングされるディスプレイ装置の一部分である。
【0140】
47. シーン記述
オーディオビジュアル目的の空間的な一時的位置、及び目的とユーザの相互作用から生じる挙動を記述する情報である。シーン記述は目的記述子へのポインタによりオーディオビジュアルデータを有する基本的ストリームを参照する。
【0141】
48. シーン記述ストリーム
シーン記述情報を送信する基本的ストリームである。
【0142】
49. シーングラフ要素
「Erreur ! Source du renvoi introuvable」という句に特定されるオーディオ、ビジュアル及びグラフィックのノードを除く、オーディオビジュアルシーン(オーディオビジュアル目的の空間的な一時的位置、及び目的とユーザの相互作用から生じる挙動)の構造のみに関連するBIFSツールの要素である。
【0143】
50. シーングラフプロフィール
シーン記述ストリーム内で使用し得るBIFSツールの許可可能なシーングラフ要素の組を定義するプロフィールである。BIFSはグラフィック要素シーン記述要素の両方よりなる。
【0144】
51. SLパケット化ストリーム(SPS)
1つの基本的ストリームをカプセル化する一連の同期層パケットである。
【0145】
52. 構造的オーディオ
ISO/IEC 14496−3により定義される合成音効果及び音楽を記述する方法である。
【0146】
53. 同期層(SL)
タイミング、及び同期情報、ならびにフラグメンテーション及びランダムアクセス情報を提供するDMIFアプリケーションインターフェースを介する通信用の基本的ストリームデータを適応する層である。同期層シンタックスは構成可能であり、空として構成することができる。
【0147】
54. 同期層構成
基本的ストリーム記述子に含まれる情報を使用する特定の基本的ストリームのための同期層シンタックスの構成である。
【0148】
55. 同期層パケット(SL−Packet)
構成可能なヘッダ及びペイロードよりなる同期層により管理される最小のデータ要素である。ペイロードは1つの完全なアクセスユニット或いは部分的なアクセスユニットより構成されていても良い。
【0149】
56. シンタックス記述言語(SDL)
ビットストリームのシンタックスの記述を可能にするISO/IEC 14496−1により定義された言語である。
【0150】
57. システムデコーダモデル(SDM)
ISO/IEC 14496に準拠したターミナルの挙動のアブストラクトビューを提供するモデルである。該モデルはバッファモデルとタイミングモデルよりなる。
【0151】
58. システム時間ベース(STB)
ターミナルの時間ベースである。そのレゾルーションはインプリメンテーションに依存する。ターミナル内の全ての作業はこの時間ベースに従って実行される。
【0152】
59. ターミナル
ISO/IEC 14496−1により定義された相互作用のオーディオビジュアルシーンのコード化された表示を送信、受信及び表示するシステムである。これは単独型でも或いは、ISO/IEC 14496に準拠したアプリケーションシステムの一部でも良い。
【0153】
60. 時間ベース
クロックの概念である。これは周期的にインクリメントするカウンタに相当する。
【0154】
61. タイミングモデル
コード化された情報の表示に如何にして(明確に或いはそれとなく)組み込むか、また受信ターミナルで如何にして回復するか等のタイミング情報の意味を特定するモデルである。
【0155】
62. 時間スタンプ
時間ベースに関連する特定の瞬間の表示である。
【0156】
3 略語及びシンボル
AU アクセスユニット
AV オーディオビジュアル
BIFS シーン用のバイナリフォーマット
CM 合成メモリ
CTS 合成時間スタンプ
CU 合成ユニット
DAI DMIF アプリケーションインターフェース(ISO/IEC 14496−6参照)
DB デコーディングバッファ
DTS デコーディング時間スタンプ
ES 基本的ストリーム
ESI 基本的ストリームインターフェース
ESID 基本的ストリーム識別子
FAP 顔のアニメーションパラメータ
FAPU FAP ユニット
FDP 顔の定義パラメータ
FIG FAP補間グラフ
FIT FAP補間テーブル
FMC FlexMux チャネル
FMOD x/yのリマインダを以下の式を満たすようにして返す浮動小数点モジューロ(リマインダ)演算子:
Fmod(x/y)=x−k*y、ここでkは整数であり、
sgn(fmod(x/y)=sgn(x)、及び
abs(fmod(x/y))<abs(y)
IP 知的所有権
IPI 知的所有権の識別アクション
IPMP 知的所有権の管理及び保護
NCT ノードコード化テーブル
NDT ノードデータのタイプ
NINT 最も近い整数値
OCI 目的内容の情報
OCR 目的クロックレフェレンス
OD 目的記述子
ODID 目的記述子識別子
OTB 目的時間ベース
PLL フェースロックループ
QoS サービスの質
SAOL 構造オーディオ調整言語
SASL 構造オーディオスコア言語
SDL シンタックス記述言語
SDM システムデコーダモデル
SL 同期層
SL−Packet 同期層パケット
SPS SLパケット化ストリーム
STB システム時間ベース
TTS テキストから音声
URL ユニバーサルリソース位置決め装置
VOP ビデオ目的平面
VRML 仮想現実モデル言語
【0157】
[付記2]
MPEG−4プレゼンテーションの記述
幾つかのJPEG、1つのオーディオ及び1つのビデオを有する通常のMPEG−4プレゼンテーションを考えてみる。
( IOD記述子
( システム基本的ストリーム(BIFS&OD)
( JPEG及び従来の基本的ストリーム等のメディア
【0158】
【表5】
Figure 2005502284
【0159】
2.1 BIFS
プレゼンテーションは第1にダウンロードツールバーを表示し(第1要素はダウンロードされている最中である)、第2に3D(複雑過ぎない)シーンを表示し、それに対し幾つかのビデオクリップ(図1参照)をもたらす幾つかの更新が追加される。
【0160】
2.2 OD
OD基本的ストリームは異なるメディア(JPEG、オーディオ、ビデオ等)にポイントを合わせる目的記述子を含む。
【0161】
2.2.1 時間の経過順のスケジューリング
クライアントがプレゼンテーションの異なる要素を受信方法を記載する。
必要なことは、
( OD記述子がそれらを参照した後(ODExecuteの意味)、
( BIFS更新がそれらの使用を推奨する前、
にメディアが到着することである。
【0162】
図2a及び2bは2つの推奨される時間の経過順の受信順序を示す。2つは共同価である。
【0163】
[付記3]
MPEG−2上のMPEG−4のマッピング
MPEG−2は以下の2つの主要なパケット構造を有する。
( PES(パケット化基本的ストリーム)パケット構造
( セクション構造
【0164】
MPEG−4の内容をこれら2つの構造内で実行することができる。
【0165】
IOD記述子のキャリッジと、以下の異なる可能なキャリッジを考察する。
( システム基本的ストリーム(BIFS&OD)、
( 従来の基本的ストリーム(Audio&Video)
【0166】
MPEG−4規格によれば、システムの基本的ストリーム(BIFS&OD)、及び
従来の基本的ストリーム(Audio&Video)はMPEG−4SL層或いはMPEG−4 FlexMux層(SL層を含む)の何れかに先ず組み込まれる。
【0167】
JPEG及びMPEG−Jも考察される。
【0168】
3.1 MPEG−2信号、MPEG−4記述子
MPEG−2PMTテーブルはエンドユーザに提案される如何なるMPEG−2プログラムも記述する。このテーブルでは、必要であれば異なるMPEG−4ストリームを記述するIOD、SL及びFlexMux記述子等の異なるMPEG−4記述子が見られる。BIFS及びOD基本的ストリームはプレゼンテーションの一部であるため、MPEG−4基本的ストリームはMPEG−4SL層或いはFlexMux層(SL層を含む)内に組み込まれる。
【0169】
PMTテーブル(他のサービス及びネットワーク指向テーブルを有する)が繰り返されて、如何なる瞬間でもクライアントに素早くチューニングさせることができる。通常、このようなテーブルは毎秒数回反復させることができる。
【0170】
IODはPMTテーブルのTS_program_map_sectionの一部である。
【0171】
PMTには、プレゼンテーションに関連するMPEG−4ストリームのリストがIODに従う。各ストリームはそのMPEG−4記述子により特徴付けられる。
【0172】
3.1 MPEG−2の内容、MPEG−4のシステム及び従来の基本的ストリーム:
MPEG−2の内容はパケット化された基本的ストリーム(PES)かセクションの何れかである。
【0173】
PESストリームは一連のPESパケットである。パケットはその長さが可変であり(かなり長い)、同期性があり、かなり連続しているが保護されていない。PESシンタックスは同期性を支持する全ての基本的ストリームに対して共通のシンタックスである。PESシンタックスを使用する第1基本的ストリームはオーディオ及びビジュアル基本的ストリームである。
【0174】
セクションは、そのパケットの長さが可変であり(かなり短い)、同期性はなく、かなり不連続であり、保護されている。保護されているということは、各セクションを受信すると、該セクションが破損しているか否かを認識することができることを意味する。セクションが最初に使用されるのは、信号を運ぶ時である。2番目に使用されるのはダウンロードの時である。円形コンベヤ機構はセクションのパケット化に基づいている。
【0175】
システムの基本的ストリームとして現在存在する全てのMPEG−4ストリームはMPEG−4時間スタンプの割り当てを許容すべくMPEG−4SL層、或いはFlexMux層(SL層を含む)に少なくとも組み込まなければならない。
【0176】
SL或いはFlexMuxストリームに一度変換されたBIFS及びOD基本的ストリームはPES或いはセクション内で運ぶことができ、オーディオ及びビデオの基本的ストリームは常にPES内で運ばなくてはならない。
【0177】
PESに組み込まれたシステム基本的ストリームの両タイプを先ず考察し、次に両ケースにおいてPESに組み込まれたオーディオ及びビデオの基本的ストリームに関連するセクションへの組み込みを考察する。
【0178】
3.2.1 第1のケース:PESに組み込まれたシステム及び従来の基本的ストリーム
主要な問題は如何なる時も如何なるクライアントに対してもプレゼンテーションにチューニングを許可することである。ランダムアクセスの問題。
【0179】
特に、これはMPEG−4SL層で支持されるRAPフラッグ、及びPMTテーブルを使用することにより達成することができる。
【0180】
3.2.1.1. ランダムアクセスポイントフラッグ
この特徴を支持するために、プレゼンテーションの全ての基本的ストリーム用にSLレベルにあるランダムアクセスポイントフラッグ(RAP)を使用することができる。
【0181】
BIFSでは、RAPが1の場合、BIFS AUは進行するBIFSの更新の全ての組み込みを含む。これは最終的に膨大なサイズのBIFS AU(#1Mbyte)となる。何かのコヒーレント性を提供する場合、プレーヤーは全てのJPEGテキスチャを待たなければならないという問題がある。これは膨大な情報であり、重いダウンロードである。これは、JPEGの場合、ターミナルは1つのAUしか読まず、更なる可能なランダムアクセスのために後から送信されるその後のAUに注意を払えない、或いはターミナルがクラッシュするかを意味する。
【0182】
ODの場合、RAPが1の時、OD AUはその結果及び進行する更新の組み込みを含む。アプリケーションはOdのサイズにはあまり関連しない。オーディオ及びビデオの基本的ストリームは連続的に読み込まれる。オーディオ「ジングル」及びビデオ「クリップ」はこのような基本的ストリーム内では送信できない。
【0183】
「RAP付きのストリーム」の図はRAPの能力を使用する簡単なシナリオを示す。
【0184】
第1のケースでは、以下のものが連続してターミナルに到着する。
1. BIFS(RAP=1) メディアなしでシーンを記述
2. OD(RAP=1) 第1JPEGにポイントを合わせる
3. JPEG(RAP=1) 第1JPEG
4. BIFS(RAP=0) JPEGがマッピングされるイメージテキスチャを記述
5. OD(RAP=0) オーディオ及びビデオを導入するため
6. the Audio and Video(第1AU)
7. BIFS(RAP=0)オーディオ及びビデオがマッピングされる場所を記述
8. the Audio、Video(その他のAU)
【0185】
第2のケースでは、以下のものが連続してターミナルに到着する。
1. OD(RAP=1) 第1JPEG、オーディオ及びビデオにポイントを合わせる
2. オーディオ、ビデオ
3. 第1JPEG(RAP=1)
4. BIFS(RAP=1) 第1のケースのBIFS更新を組み込む
5. OD(RAP=0) 第2JPEGへポイントを合わせる
6. 第2JPEG(RAP=1)
7. BIFS(RAP=0)第2JPEGへポイントを合わせる
8. オーディオ及びビデオ。
【0186】
第2のケースではODが最初に到着し、次いでRAP=1を有するBIFSが進行するBIFSの更新コマンドの幾つかを組み込む。
【0187】
第3のケースでは、以下のものが連続してターミナルに到着する。
1. OD(RAP=1) 第1JPEG及び第2JPEG、オーディオ及びビデオにポイントを合わせる。このODは第2のケースのwo ODを組み込む。
2. オーディオ及びビデオ
3. 第1JPEG(RAP=1)
4. 第2JPEG(RAP=1)
5. BIFS(RAP=1) 第2のケースのBIFS更新を組み込む
6. オーディオ及びビデオ
【0188】
「RAPを有するストリーム」の図から発した「異なるセッション」の図はどのコマンドからセッションが構築されるかを示す。
【0189】
第1のケースでは上記のものが連続してターミナルに到着し、
第2のケースでは上記のものが連続してターミナルに到着し、
第3のケースでは上記のものが連続してターミナルに到着する。
【0190】
結論:
1. 事実、ビデオ及びオーディオは継続的に流れるのに対し、OD,BIFS及びJPEGにはダウンロードを使用する。
2. シーン或いはODの復元に限って言えばそれらが何処にあるのか知るのは困難である。進歩的なダウンロードを得るのに利益はない。シーンの進歩的なロードを採用すれば、受信側と送信側の両方で複雑さが増す(サーバはシーンの現在の状況を管理しなければならない)。
3. 「ジングル」或いは「クリップ」は不可能である。
4. JPEGの起こり得る問題。
5. MPEG−4システムの基本的ストリームは保護されない。
【0191】
3.2.1.1.1. PMTテーブルの使用
他の解決策は、新たなストリームのために反復しなければならない各新たなPMT、新たなPED内への割り当てである。その場合、PMTが変化した場合にターミナルにどのように反応させるかを正確に定義しなければならない。PMTだけがプレゼンテーションへの完全なアクセスを許容するストリームを参照する。IODから発してPMTを完全に解析しなければならない。
【0192】
「パケットのRAP+PMTストリーム」の図は、MPEG−4システムの基本的ストリームに割り当てられたPIDがPMTテーブルの各瞬間に変化するという事実に関連する異なる基本的ストリームのために存在するRAP設備を使用するシナリオを示す。
【0193】
第1のケースは第1PMT PID割り当てにより以下の物がターミナルに連続的の到着する。
1. BIFS(RAP=1) PID BIFS_0の下でメディアなしにシーンを記述する
2. OD(RAP=1) PID OD_0の下で第1JPEGにポイントを合わせる
3. JPEG(RAP=1)、第1JPEG、
4. BIFS(RAP=0) JPEGがマッピングされるイメージテキスチャを記述する
5. OD(RAP=0) オーディオ及びビデオを導入する
6. オーディオ及びビデオ
7. BIFS(RAP=0) オーディオ及びビデオが何処でマッピングされるかを記述する
8. オーディオ及びビデオ
【0194】
第2のケースは第1のケースの続きである。第2PMTは新たなセッションを開始するために送信されており、従って、pte precedin PMTと共に確立されたセッション及び新たなセッションはこの新たなPMTにより確立し共に生きる。以下の物がターミナルに連続的に到着する。
1. BIFS(RAP=1) PID BIFS_1の下でメディアなしにシーンを記述する
2. OD(RAP=1) PID OD_1の下で第1JPEGにポイントを合わせる
3. JPEG(RAP=1)、第1JPEG、
4. オーディオ及びビデオ
5. BIFS(RAP=0)、PID BIFS_1の下で第2JPEGにポイントを合わせる
6. OD(RAP=0)、PID OD_1の下でオーディオ及びビデオにポイントを合わせる
7. オーディオ及びビデオ
8. BIFS(RAP=0)、PID BIFS_1の下でオーディオ及びビデオにポイントを合わせる
9. その後、両セッションのOD及びBIFSはインターリーブされる。
【0195】
第3のケースでは、以下のものがターミナルに連続的に到着する。
10. BIFS(RAP=1) PID BIFS_2の下でメディアなしにシーンを記述する
11. OD(RAP=1) PID OD_2の下で第1JPEGにポイントを合わせる
12. JPEG(RAP=1)、第1JPEG、
13. オーディオ及びビデオ
14. BIFS(RAP=0)、PID BIFS_2の下で第2JPEGにポイントを合わせる
15. OD(RAP=0)、PID OD_2の下でオーディオ及びビデオにポイントを合わせる
16. オーディオ及びビデオ
17. BIFS(RAP=0)、PID BIFS_2の下でオーディオ及びビデオにポイントを合わせる
18. その後、両セッションのOD及びBIFSはインターリーブされる。
【0196】
「パケットのRAP+PMTストリーム」の図から発する「RAP+PMTパケットストリーム」の図はBIFSとODアクセスユニットの複製が何処で生じるかを示している。
【0197】
結論:
* PIDの浪費を伴う進歩的なダウンロードを支持することは可能かも知れない(シーンの継続中)
* BIFS及びODの更新は異なるPIDを有して複製しなければならない(ビデオ及びオーディオ以外)
* オーディオ「ジングル」及びビデオ「クリップ」も不可能である。
* MPEG−4システムの基本的ストリームの保護は支持されていない。
【0198】
3.2.2 従来の基本的ストリームはPESに残るが、BIFS及びODはセクションに組み込まれる。
【0199】
このようなシナリオでは、BIFS及びODは保護される(それらの破損を検出することができる)。
【0200】
BIFS及びODの更新は異なるテーブル及びセクション下で実行される。各BIFS及びODの更新にはバージョン番号が割り当てられる。バージョン番号は変化する。
【0201】
従来、ターミナルが特定のテーブルを管理する場合、受信したテーブルだけを読み込み、関連するバージョン番号が変更したか否かをチェックする必要がある。バージョン番号が変化していれば、ターミナルはテーブルのコンパイルを避けることができる。バージョン番号が変化していれば、ターミナルはテーブルをコンパイルしなければならない。
【0202】
しかし、バージョン番号を管理する厳格な方法はアプリケーションに依存する。
【0203】
コメント:標準がストリーム用のセクションを提供しないため、JPEGもPES、MPEG−J内に運ばなければならない。
【0204】
仮定:
( 我々は上述と同じ意味規則を維持する。新たなセッションのBIFSに対応する全てのSLパケットを新たなセクション(新たなバージョン番号により識別される)に挿入することができる。
【0205】
資産:
( このような機構により、進歩的なダウンロードが可能となる。
( BIFS及びODの破損を検出することができる。
( BIFS及びODの簡単な挿入(各セッションはその適切な時間線を有する)。
【0206】
欠点:
( 各セッションに対するBIFS及びODセクションの完全な複製
( 多重SLセクション?(1つのセクションユニットにつき1つのSLパケットを強制しなければならない)
( BIFSとOD間に起こり得る同期性の問題(解決可能)
( 現在の規格はセクション内でMPEG−J及びJPEGを許可していないか?
【図面の簡単な説明】
【0207】
【図1】付記2で論じているシーン記述の内容の例を開示する。
【図2】付記2で論じている従来技術による推奨する時間の経過順の2つの受信順序を開示する。
【図3】本発明の方法の使用を示す。
【図4】セッションの融合においてセッションを如何にして相互に作用するかを示す。
【図5】ストリーム相互作用の場合にセッションを如何にして相互に作用するかを示す。
【図6】本発明による前方参照機構を示す。
【図7】MPEG−2コンテキストにおける図6の方法の例を示す。

Claims (10)

  1. 連続的なパケットを有し、
    該パケットは複数のセッション内に構成され、各セッションは全体を形成する一組のパケットよりなり、
    前記セッションの少なくとも幾つかは、異なる開始時間に対応する幾つかのバージョン下で送信されてなる、データフローとしての複数のターミナルへのマルチメディア信号のブロードキャスト方法であって、
    該方法は同じセッションのバージョンを併合する機構を実現し、異なる時間で発した少なくとも2つのバージョンが、それらに特有なセッションの部分を先ず使用し、次いで共有されるセッションの部分を使用することを含む方法。
  2. 連続的なパケットを有し、
    該パケットは複数のセッション内に構成され、各セッションは全体を形成する一組のパケットよりなる、データフローとしての複数のターミナルへのマルチメディア信号のブロードキャスト方法であって、
    前記パケットのそれぞれは、前記フロー内で、対応するセッションの次のパケットを識別するためのポインタを有し、
    前記フロー内の少なくとも2つの異なるパケットのために、前記パケットの少なくとも幾つかが前記次のパケットとして識別されるように前記フローが構成されることを含む方法。
  3. 前記セッションの少なくとも幾つかは、異なる開始時間に対応する幾つかのバージョン下で送信され、
    前記ポインタは前記フロー内で、対応するセッションのバージョンの次のパケットを識別し、
    セッションの異なるバージョンに属するパケットのポインタは、バージョンを併合すべく、同じ次のパケットにポイントを合わせることが可能であることを含む請求項2に記載の方法。
  4. 前記ポインタは、現在のパケットのバージョンの識別子とは異なるバージョン識別子を含む請求項3に記載の方法。
  5. 前記各パケットは、
    現在のバージョンの識別子と;
    次のバージョンの識別子と、を有し、
    前記次のバージョンの識別子は、
    前記現在のバージョンの識別子、或いは
    複数のバージョンが併合された場合には、異なるバージョンの識別子の何れかであることを含む請求項4に記載の方法。
  6. 前記方法はMPEG2の標準を実施する、請求項1〜5の何れかに記載の方法。
  7. 前記データはMPEG4タイプである、請求項1〜6の何れかに記載の方法。
  8. 請求項1〜7の何れかに記載の方法によりブロードキャストできる構造を有する、マルチメディア信号。
  9. 請求項1〜7の何れかに記載の方法によりマルチメディア信号のブロードキャストを処理する手段を有する、ターミナル。
  10. 事前に受信した少なくとも幾つかのセッション部分を記憶する手段を更に有する、請求項9に記載のターミナル。
JP2003526161A 2001-07-13 2002-07-12 複数のターミナルへのマルチメディア信号のブロードキャスト方法 Expired - Lifetime JP4391231B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01460046A EP1276323A1 (en) 2001-07-13 2001-07-13 Method for broadcasting multimedia signals towards a plurality of terminals
PCT/EP2002/008673 WO2003021963A1 (en) 2001-07-13 2002-07-12 Method for broadcasting multimedia signals towards a plurality of terminals

Publications (3)

Publication Number Publication Date
JP2005502284A true JP2005502284A (ja) 2005-01-20
JP2005502284A5 JP2005502284A5 (ja) 2006-03-16
JP4391231B2 JP4391231B2 (ja) 2009-12-24

Family

ID=8183366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003526161A Expired - Lifetime JP4391231B2 (ja) 2001-07-13 2002-07-12 複数のターミナルへのマルチメディア信号のブロードキャスト方法

Country Status (10)

Country Link
US (1) US7398543B2 (ja)
EP (1) EP1276323A1 (ja)
JP (1) JP4391231B2 (ja)
KR (1) KR100876462B1 (ja)
CN (1) CN1301011C (ja)
BR (1) BRPI0211109B1 (ja)
CA (1) CA2452645C (ja)
FR (1) FR2827447B1 (ja)
MX (1) MXPA04000218A (ja)
WO (1) WO2003021963A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7159039B1 (en) * 2000-02-28 2007-01-02 Verizon Laboratories Inc. Systems and methods for providing in-band and out-band message processing
WO2002047275A1 (en) * 2000-12-06 2002-06-13 Koninklijke Philips Electronics N.V. A method for space-saving-variable length encoding of input information items through assigning code bit groups to respective sub-chainings that each get a pointer, and to an apparatus arranged for encoding and/or bidirectional decoding accordingly
DE102005008366A1 (de) * 2005-02-23 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ansteuern einer Wellenfeldsynthese-Renderer-Einrichtung mit Audioobjekten
US7471875B2 (en) * 2005-07-15 2008-12-30 Streaming Networks (Pvt.) Ltd. Method and system for providing instant reverse play
US20070169154A1 (en) * 2006-01-13 2007-07-19 Action Electronics Co., Ltd. Internet video player
US7940758B2 (en) * 2007-03-20 2011-05-10 Avaya Inc. Data distribution in a distributed telecommunications network
US9191284B2 (en) 2010-10-28 2015-11-17 Avvasi Inc. Methods and apparatus for providing a media stream quality signal
US9037743B2 (en) * 2010-10-28 2015-05-19 Avvasi Inc. Methods and apparatus for providing a presentation quality signal
US8762452B2 (en) * 2011-12-19 2014-06-24 Ericsson Television Inc. Virtualization in adaptive stream creation and delivery

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5353283A (en) * 1993-05-28 1994-10-04 Bell Communications Research, Inc. General internet method for routing packets in a communications network
US5414455A (en) * 1993-07-07 1995-05-09 Digital Equipment Corporation Segmented video on demand system
US5576843A (en) * 1993-10-29 1996-11-19 Time Warner Entertainment Co., L.P. System and method for controlling play of multiple dialog audio tracks of a software carrier
US5629732A (en) * 1994-03-29 1997-05-13 The Trustees Of Columbia University In The City Of New York Viewer controllable on-demand multimedia service
US5555244A (en) * 1994-05-19 1996-09-10 Integrated Network Corporation Scalable multimedia network
US5477263A (en) * 1994-05-26 1995-12-19 Bell Atlantic Network Services, Inc. Method and apparatus for video on demand with fast forward, reverse and channel pause
ES2211907T3 (es) * 1994-07-05 2004-07-16 Koninklijke Philips Electronics N.V. Sistema de procesamiento de señales.
US5721829A (en) * 1995-05-05 1998-02-24 Microsoft Corporation System for automatic pause/resume of content delivered on a channel in response to switching to and from that channel and resuming so that a portion of the content is repeated
US5600378A (en) * 1995-05-22 1997-02-04 Scientific-Atlanta, Inc. Logical and composite channel mapping in an MPEG network
US7058721B1 (en) * 1995-07-14 2006-06-06 Broadband Royalty Corporation Dynamic quality adjustment based on changing streaming constraints
JP3894572B2 (ja) * 1995-07-21 2007-03-22 コニンクリユケ フィリップス エレクトロニクス エヌ.ブイ. 圧縮されたテレビジョン信号を送信及び受信する方法
US6061504A (en) * 1995-10-27 2000-05-09 Emc Corporation Video file server using an integrated cached disk array and stream server computers
JP3371186B2 (ja) * 1995-11-27 2003-01-27 ソニー株式会社 ビデオデータ配信システムおよびビデオデータ受信装置
US5822530A (en) * 1995-12-14 1998-10-13 Time Warner Entertainment Co. L.P. Method and apparatus for processing requests for video on demand versions of interactive applications
US5771435A (en) * 1995-12-14 1998-06-23 Time Warner Entertainment Co. L.P. Method and apparatus for processing requests for video presentations of interactive applications in which VOD functionality is provided during NVOD presentations
CA2218657C (en) * 1996-02-21 2000-04-18 Lewis S. Ostrover Method for interleaving data for seamless playback of multiple program versions having common material
US5781227A (en) * 1996-10-25 1998-07-14 Diva Systems Corporation Method and apparatus for masking the effects of latency in an interactive information distribution system
US5892915A (en) * 1997-04-25 1999-04-06 Emc Corporation System having client sending edit commands to server during transmission of continuous media from one clip in play list for editing the play list
US6012091A (en) * 1997-06-30 2000-01-04 At&T Corporation Video telecommunications server and method of providing video fast forward and reverse
US6205140B1 (en) * 1997-12-01 2001-03-20 Intel Corporation Communication of dynamic dependencies along media streams
US6938268B1 (en) * 1998-01-08 2005-08-30 Winston W. Hodge Video stream sharing
US6788882B1 (en) * 1998-04-17 2004-09-07 Timesurf, L.L.C. Systems and methods for storing a plurality of video streams on re-writable random-access media and time-and channel- based retrieval thereof
WO1999062251A2 (en) * 1998-05-08 1999-12-02 Koninklijke Philips Electronics N.V. Method for storing compressed digital audio and video
KR100705992B1 (ko) * 1998-07-17 2007-04-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 코드화된 데이터를 디멀티플렉싱하는 장치
US6363207B1 (en) * 1998-10-22 2002-03-26 Sony Corporation Method and apparatus for a virtual system time clock for digital audio/video processor
SE9804414L (sv) * 1998-12-18 2000-06-19 B2 Tech Ab C O Bredbandsbolage Förfarande och anordning för distribution av ett utbud av signalsekvenser
US6934759B2 (en) * 1999-05-26 2005-08-23 Enounce, Inc. Method and apparatus for user-time-alignment for broadcast works
US6859839B1 (en) * 1999-08-06 2005-02-22 Wisconsin Alumni Research Foundation Bandwidth reduction of on-demand streaming data using flexible merger hierarchies
US6993788B1 (en) * 1999-08-20 2006-01-31 Mediaone Group, Inc. Method and system for manipulating broadcast signals
US6665266B1 (en) * 1999-11-23 2003-12-16 International Business Machines Corporation Method and apparatus for multiplexing a multitude of separate data streams into one shared data channel, while maintaining CBR requirements
JP2001189713A (ja) * 1999-12-28 2001-07-10 Toshiba Corp データ伝送装置およびデータ伝送方法
US7237254B1 (en) * 2000-03-29 2007-06-26 Microsoft Corporation Seamless switching between different playback speeds of time-scale modified data streams
DE60032467T2 (de) * 2000-06-14 2007-10-11 Eads Astrium S.A.S. Verfahren und System für Video-auf-Anfrage
US6892391B1 (en) * 2000-07-13 2005-05-10 Stefan Jones Dynamic generation of video content for presentation by a media server
US7095945B1 (en) * 2000-11-06 2006-08-22 Ati Technologies, Inc. System for digital time shifting and method thereof
US6888848B2 (en) * 2000-12-14 2005-05-03 Nortel Networks Limited Compact segmentation of variable-size packet streams
US7260115B1 (en) * 2001-02-28 2007-08-21 Symbol Technologies, Inc. System and method of ordering the transmission of data packets in a radio system

Also Published As

Publication number Publication date
JP4391231B2 (ja) 2009-12-24
FR2827447A1 (fr) 2003-01-17
KR100876462B1 (ko) 2008-12-31
WO2003021963A1 (en) 2003-03-13
CN1301011C (zh) 2007-02-14
BRPI0211109B1 (pt) 2017-01-17
FR2827447B1 (fr) 2004-11-12
BR0211109A (pt) 2004-06-22
US7398543B2 (en) 2008-07-08
EP1276323A1 (en) 2003-01-15
CN1533674A (zh) 2004-09-29
CA2452645C (en) 2009-05-05
US20040261028A1 (en) 2004-12-23
MXPA04000218A (es) 2004-07-23
CA2452645A1 (en) 2003-03-13
KR20040018448A (ko) 2004-03-03

Similar Documents

Publication Publication Date Title
US20010000962A1 (en) Terminal for composing and presenting MPEG-4 video programs
JP5253439B2 (ja) 従属データストリームの送信方法
US20230035998A1 (en) System and method for data stream fragmentation
Avaro et al. MPEG-4 systems: overview
Herpel et al. MPEG-4 Systems: Elementary stream management
US7149770B1 (en) Method and system for client-server interaction in interactive communications using server routes
KR20220165693A (ko) 디지털 방송 서비스 방법 및 장치
Yoon End-to-end framework for 4-D broadcasting based on MPEG-V standard
JP4194240B2 (ja) 会話形通信におけるクライアント−サーバインタラクションの方法及びシステム
JP4391231B2 (ja) 複数のターミナルへのマルチメディア信号のブロードキャスト方法
Herpel Elementary stream management in MPEG-4
KR100991803B1 (ko) Saf 동기화 계층 패킷 구조를 제공하는 saf 동기화 계층 패킷 제공 시스템 및 사용자 단말
Kalva Delivering MPEG-4 Based Audio-Visual Services
Herpel et al. MPEG-4 systems: elementary stream management and delivery
JP2007534185A (ja) ストリーミングシステムにおけるデータストリームの復号化方法およびデータストリームの復号化装置
Kalva Object-Based Audio-Visual Services
Le Feuvre et al. Synchronization in MPEG-4 Systems
Cheok et al. SMIL vs MPEG-4 BIFS
KR100940603B1 (ko) Saf 동기화 계층 패킷 구조와 이를 제공하는 방법
Herpel et al. Olivier Avaro Deutsche Telekom-Berkom GmbH, Darmstadt, Germany Alexandros Eleftheriadis Columbia University, New York, New York
Cheok et al. DEPARTMENT OF ELECTRICAL ENGINEERING TECHNICAL REPORT

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070424

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081211

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091007

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4391231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term