JP2004503191A - マルチメディア記述情報の配信方法 - Google Patents

マルチメディア記述情報の配信方法 Download PDF

Info

Publication number
JP2004503191A
JP2004503191A JP2002509884A JP2002509884A JP2004503191A JP 2004503191 A JP2004503191 A JP 2004503191A JP 2002509884 A JP2002509884 A JP 2002509884A JP 2002509884 A JP2002509884 A JP 2002509884A JP 2004503191 A JP2004503191 A JP 2004503191A
Authority
JP
Japan
Prior art keywords
description
presentation
content
streamed
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002509884A
Other languages
English (en)
Other versions
JP3880517B2 (ja
Inventor
ワン, アーネスト, イュー, チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2004503191A publication Critical patent/JP2004503191A/ja
Application granted granted Critical
Publication of JP3880517B2 publication Critical patent/JP3880517B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

マークアップ言語(例えば、XML)で記述される文書(20)を処理する方法が開示される。まず、そのXML文書の構造(21a)とテキストコンテンツ(21b)が分離され、その構造(22)が、テキストコンテンツ(23)より前に、例えば、ストリーミングによって送信される。受信した構造(22)の解析が、テキストコンテンツ(23)が受信される前に開始される。また、コンテンツ(31、32)と記述(33)コンポーネントを有する少なくとも1つのメディアオブジェクトからストリーム化プレゼンテーション(37、38)を生成する方法が開示される。プレゼンテーション記述(35)は、そのメディアオブジェクトの少なくとも1つのコンポーネント記述から生成され(36)、次に、コンポーネント記述(38)とコンテンツ(37)に関連付けられている基本データストリームを生成するために、プレゼンテーションのコンポーネント記述とコンテンツの配信のスケジュールを調整するための処理がなされる(34)。コンテンツと記述コンポーネントを有する少なくとも1つのメディアオブジェクトでストリーム化プレゼンテーションを生成する別の方法も開示される。プレゼンテーションテンプレート(53)が提供され、これは、プレゼンテーション記述(56)の構造を定義する。このプレゼンテーションテンプレート(53)は、各記述コンポーネントからプレゼンテーション記述を生成するために、関連メディアオブジェクトの少なくとも1つの記述コンポーネント(52)に適用される(54)。次に、プレゼンテーション記述は、ストリーム化プレゼンテーション(57、58)を生成するために、各関連メディアオブジェクト(51)とともに符号化されたストリームとなり、これによって、メディアオブジェクトは、プレゼンテーション記述を使用して再生可能となる。

Description

【0001】
発明の技術分野
本発明は、一般的には、マルチメディアの配信に関するものであり、特に、種々のタイプのアプリケーションにおけるマルチメディア記述の配信に関するものである。本発明は、改訂MPEG−7規格に対する特定アプリケーションを有しているが、これに限定されるものではない。
背景技術
マルチメディアは、テキスト、オーディオ及びイメージのようなメディアの提供あるいは、そのメディアへのアクセスとして定義でき、この場合、アプリケーションは、メディアタイプのある範囲を処理あるいは操作することができる。ビデオへのアクセスが要求されることは例外なことではなく、アプリケーションはオーディオとイメージの両方を処理しなければならない。このようなメディアには、コンテンツを記述し、かつ他のコンテンツへのリファレンスを含むテキストがたいてい付け加えられている。このように、マルチメディアは、コンテンツと記述とで生成されるものとして都合よく参照することができる。この記述は、通常、メタデータによって構成され、このメタデータは、他のデータを記述するために使用される実際のオーディオデータである。
【0002】
ワールドワイドウェブ(WWWあるいは「Web」)は、クライアント/サーバ構成を使用している。Webを介する伝統的なマルチメディアへのアクセスには、サーバを介して利用可能なデータベースへアクセスする各クライアントを必要とする。クライアントは、マルチメディア(コンテンツ及び記述)をローカル処理システムへダウンロードし、このローカル処理システムでは、マルチメディアを、そのコンテンツを記述に従ってコンパイルし再生することによって利用することができる。この記述は「静的」であり、この場合、コンテンツあるいはその一部を再生するために、記述全体は通常クライアントで利用可能でなければならない。このような伝統的なアクセスでは、クライアントの要求と実際の再生時間との間の遅延の問題があり、かつサーバと、そのメディアコンポーネントが配信されるローカル処理システムとそのサーバとを接続する通信ネットワークの両方の突発的な負荷の問題がある。このような形態では、マルチメディアのリアルタイム配信及び再生は、通常、実現できない。
【0003】
改訂MPEG−7規格は、MPEG−7記述用にいくつかの潜在的なアプリケーションを認定している。様々なMPEG−7の「プル」あるいは検索アプリケーションは、データベースへのクライアントアクセスとオーディオ−ビジュアルアーカイブを含んでいる。「プッシュ」アプリケーションは、コンテンツの選択及びフィルタリングに関係し、かつ配信(broadcasting)で使用される、また、無線周波数伝播によって放送路を介してメディアを配信する「ウェブキャスティング」の既存の概念は、Web構造化リンクを介する放送である。最も基本的な構成でのウェブキャスティングは、静的記述とストリーム化コンテンツを必要とする。しかしながら、ウェブキャスティングは、任意のコンテンツが受信される前に、通常、記述全体のダウンロードを必要とする。好ましくは、ウェブキャスティングは、コンテンツとともに受信される、あるいはコンテンツに関連付けられているストリーム化記述を必要とする。どちらのアプリケーションのタイプも、メタデータを使用することはかなり有効である。
【0004】
Webは、多くの人々にとって、オーディオ−ビジュアル(AV)コンテンツをサーチし、検索するための主要な媒体となりつつある。通常、情報を取得する場合、クライアントがクエリーを発行し、サーチエンジンが、自身のデータベースと関連コンテンツ用のリモートデータベースの少なくとも一方をサーチする。XML文書を使用して構成されるMPEG−7記述は、より有効で効率的なサーチを可能にする、これは、MPEG−7では、周知の標準化記述子及び記述スキームの体系が使用されているからである。それにもかかわらず、MPEG−7記述は、Webで利用可能なすべてのコンテンツ記述の(わずかな)一部だけを生成するようになっている。MPEG−7記述に対して、Web上の他のXML文書と同様の方法で、サーチ可能で、かつ検索可能(あるいはダウンロード可能)とすることが要求されており、これは、Webのユーザは、AVコンテンツを記述とともにダウンロードすることを期待あるいは要望していないからである。いくつかの場合では、AVコンテンツよりもむしろ記述は、必要なものとなっている。それ以外の場合では、ユーザは、コンテンツをダウンロードするかストリーミングするかを決定する前に、記述を確認することを要望している。
【0005】
MPEG−7記述子及び記述スキームは、Web上で使用される(周知の)用語群のサブセットだけである。XMLの用語を使用すると、MPEG−7記述子及び記述スキームは要素であり、かつMPEG−7ネーム空間で定義されるタイプである。また、Webユーザは、MPEG−7の要素及びタイプが他のネーム空間の要素及びタイプと併せて使用できることを期待している。広く使用されている他の用語を除外して、かつ全てのMPEG−7記述が標準化MPEG−7記述子及び記述スキーム及びその派生のみで構成されるように制限すると、MPEG−7規格を著しく柔軟性に欠けさせ、かつ使用不可能にしてしまう。広く受け入れられる方法は、記述において、複数のネーム空間の用語を含ませることと、かつアプリケーションが解釈する(MPEG−7を含む任意のネーム空間)の要素を処理し、かつ解釈されない要素は無視することをアプリケーションに許容することである。
【0006】
ダウンロードを行い、マルチメディア(例えば、MPEG−7)記述をより効果的に記憶するために、その記述を圧縮することができる。いくつかの符号化フォーマットがXML用に提案されており、これには、無線アプリケーションプロトコル(WAP)から導出されるWBXMLを含んでいる。WBXMLでは、頻繁に使用されるXMLタグ、属性及び値は、グローバルコード空間の固定コードセットに割り当てられている。文書インスタンス内で繰り返されるアプリケーション専用タグ名、属性名及びいくつかの属性値は、いくつかのローカルコード空間のコードに割り当てられている。WBXMLは、XML文書の構造を予約している。文書タイプ定義(DTD)で定義されていないコンテンツと属性値は、ラインあるいはストリングテーブルに記憶することができる。WBXMLを使用する符号化例が図1A及び図1Bに示されている。図1Aは、WBXML用の符号化ルールを定義する様々なコード空間12に従うインタプリタ14によってXMLソース文書10がどのように処理されるかを示している。インタプリタ14は、WBXML規格に従う通信に適している符号化文書16を生成する。図1Bは、文書16によって生成されるデータストリーム中の各トークンの記述を示している。
【0007】
WBXMLは、XMLタグと属性をトークンに符号化するが、XML記述のテキストコンテンツには圧縮は実行されない。これは、従来のテキスト圧縮アルゴリズムを使用して達成することができるが、プリミティブデータタイプの属性値をより効率的に圧縮することを可能にするためにXMLのスキーマ及びデータタイプを利用することが好ましい。
【0008】
本発明の要約
本発明の目的は、マルチメディア記述のストリーミングをサポートするための既存の構成の1つ以上の欠点を実質的に解消あるいは少なくとも改善することである。
【0009】
本発明の一般的な構成は、記述をストリーミングし、かつAV(オーディオ−ビジュアル)コンテンツとともに記述をストリーミングするために提供する。AVコンテンツとともに記述をストリーミングする場合、そのストリーミングは、「記述−中心」あるいは「メディア−中心」とすることができる。このストリーミングは、アップストリームチャネルでユニキャストあるいはブロードキャストすることができる。
【0010】
本発明の第1の構成に従えば、コンテンツ及び記述コンポーネントを有する少なくとも1つのメディアオブジェクトからストリーム化プレゼンテーションを生成する方法が提供され、この方法は、
前記少なくとも1つのメディアオブジェクトのコンポーネント記述の少なくとも1つからプレゼンテーション記述を生成する工程と、
前記プレゼンテーションのコンポーネント記述とコンテンツの配信のスケジュールを調整するために前記プレゼンテーション記述を処理し、該コンポーネント記述とコンテンツに関連付けられている基本データストリームを生成する工程と を備える。
【0011】
本発明の別の構成に従えば、コンテンツとともに記述をストリーミングするためにプレゼンテーション記述を生成する方法が開示され、この方法は、
プレゼンテーション記述の構造を定義するプレゼンテーションテンプレートを提供する工程と、
前記記述コンポーネントのそれぞれから前記プレゼンテーション記述を生成するために、少なくとも1つの関連メディアオブジェクトの少なくとも1つの記述コンポーネントへ前記プレゼンテーションテンプレートを適用する工程とを備え、前記プレゼンテーション記述は、ストリーム化再生用に指定されている記述コンポーネントと、その記述コンポーネントに関連付けられているコンテンツコンポーネント間のシーケンシャル関係を定義している。
【0012】
本発明の別の構成に従えば、複数の記述オブジェクト間に配置されている複数のコンテンツオブジェクトを有するストリーム化プレゼンテーションが開示され、前記記述オブジェクトは前記コンテンツオブジェクトから再生可能なマルチメディアコンテンツへのリファレンスを有する。
【0013】
本発明の別の構成に従えば、XML文書を配信する方法が開示され、この方法は、
XMLテキストからXML構造を分離するために、前記XML文書を分割する工程と、
複数のデータストリームで前記XML文書を配信する工程とを備え、前記ストリームの少なくとも1つは、前記XML構造と、前記XMLテキストを有する前記ストリームとは別の少なくとも1つを有する。
【0014】
本発明の別の構成に従えば、マークアップ言語で記述されている文書を処理する方法が開始され、この方法は、
前記文書を構造及びテキストコンテンツに分離する工程と、
前記テキストコンテンツの前に前記構造を送信する工程と、
前記テキストコンテンツが受信される前に、前記構造の解析を開始する工程と
を備える。
【0015】
本発明の他の目的も開示される。
【0016】
最良形態を含む詳細説明
説明する実施形態はそれぞれ、XML文書となる関連マルチメディア記述に基づいている。XML文書は、通常、そのロー(raw)テキストフォーマットで記憶され、かつ送信される。いくつかのアプリケーションでは、XML文書は、記憶あるいは送信用にいくつかの伝統的なテキスト圧縮アルゴリズムを使用して圧縮され、それらが解析されかつ処理される前には、XMLに復元される。圧縮は、大幅にXML文書のサイズを削減することができる、つまり、文書の読出あるいは送信時間を削減することができるが、文書が解析されかつ処理できるようになる前には、アプリケーションは、いまだなお、XML全体を受信しなければならない。伝統的なXML解析器は、XML文書が適格になる(即ち、文書が、マッチングし、重複しないスタートタグとエンドタグのペアを有する)ことを期待しており、また、XML文書全体が受信されるまでは、XML文書の解析を完了することができない。ストリーム化XML文書のインクリメンタル解析は、通常のXML解析器を使用して実行することはできない。
【0017】
XML文書のストリーミングは、XML文書のある程度の部分を受信すると、解析及び処理を開始することを許容している。このような機能は、狭帯域幅通信リンク及びリソースがかなり制限されているデバイスの少なくとも一方の場合に最も有益である。
【0018】
XML文書のインクリメンタル解析を達成する方法の1つには、幅優先(breadth−first)あるいは深度優先(depth−first)方法でXML文書のツリー階層(例えば、文書の主要(Dominant)オブジェクトモデル(DOM)表現)を送信することである。このような処理をより有効に行うために、文書のXML(ツリー)構造は、文書のテキストコンポーネントから分離でき、かつテキストを送信する前に符号化することができる。XML構造は、テキストを解釈するためのコンテキストの提供においては重要である。2つのコンポーネントへの分離は、デコーダ(解析器)に、より高速に文書構造を解析させることを可能にし、かつ、必要としないあるいは解釈することができない要素を無視させることができる。このようなデコーダ(解析器)は、後の段階で到来する任意の無関係なテキストをバッファしないように選択することができる。デコーダが符号化文書をXMLに変換するかしないかは、アプリケーションに依存している。
【0019】
XML構造は、テキストの解釈において必要である。加えて、異なる符号化スキームは構造及びテキスト用に通常使用されるが、一般的には、構造情報はテキストコンテンツよりもかなり少なく、2(あるいはそれ以上)のストリームが、構造及びテキストを配信するために使用することができる。
【0020】
図2は、XML文書20のストリーミング方法の1つを示している。まず、文書20は、DOM表現21に変換され、これは、深度優先形式でストリーム化される。DOM表現21のツリー21aとテキストコンテンツ21bで示される文書20の構造は、2つのストリーム22及び23として符号化される。コードテーブル24は、構造ストリーム23の先頭にある。DOM表現21のノードを示す各符号化ノード25は、対応する子ノードの全サイズを含む自身のサイズを示すサイズフィールドを有している。符号化リーフノードと属性ノードの適切な場所は、テキストストリーム23中でそれに対応する符号化コンテンツ27に対するポインタ26を含んでいる。ストリングのサイズを示すサイズフィールドは、テキストストリーム中の各符号化ストリングの先頭にある。
【0021】
マルチメディア(例えば、MPEG−7)記述のすべてが、コンテンツとともにストリーミングされる、あるいはプレゼンテーションとして提供される必要はない。例えば、テレビとフィルムアーカイブは、アナログテープを含むいくつかの異なるフォーマットで大量のマルチメディア媒体を記憶する。ムービー記述をストリーミングすることはできないが、このムービーは、実際のムービーのコンテンツとともにアナログテープに記録されている。同様に、患者の医療記録のマルチメディア記述の処理もマルチメディアプレゼンテーションとして理解できるように記録する。類似点としては、同期マルチメディア統合言語(SMIL)プレゼンテーションが自身のXML文書である一方、XML文書のすべてがSMILプレゼンテーションとはならないことである。実際には、ごく少数のXML文書だけがSMILプレゼンテーションとなっている。SMILはプレゼンテーションスクリプトを生成するために使用することができ、これは、ローカルプロセッサでいくつかのローカルファイルあるいはリソースから出力プレゼンテーションをコンパイルさせることができる。SMILは、タイミングと同期モデルを特定するが、コンテンツあるいは記述のストリーミング用のビルトインサポートは持っていない。
【0022】
図3は、コンテンツとともに記述をストリーミングするための構成30を示している。いくつかのマルチメディアリソースが、オーディオファイル31及びビデオファイル32を含むように示されている。リソース31及び32の関係は、それぞれがいくつかの記述と記述子の関係で通常生成されている記述33からなる。重要なことは、記述33とコンテンツファイル31及び32とが一対一の関係である必要がないことである。例えば、1つの記述は、いくつかのファイル31及び32の少なくとも一方と関連していても良く、あるいは任意の1つのファイル31あるいは32が1つ以上の記述と関連付けられていても良い。
【0023】
図3に示されるように、プレゼンテーション記述35は、記述中心ストリーミング方法を介して復元したいマルチメディアプレゼンテーションの一時的な動作を記述するために提供される。プレゼンテーション記述35は、編集ツールと標準化プレゼンテーション記述スキーム36を使用して、マニュアルであるいはインタラクティブに生成することができる。スキーム36は、マルチメディアオブジェクトと指定のマルチメディアプレゼンテーションのレイアウト間でハイパーリンクを定義するための要素と属性を利用している。プレゼンテーション記述35は、ストリーミングプロセスを動作させるために使用することができる。好ましくは、プレゼンテーション記述は、XML文書であり、これは、SMILベースの記述スキームを使用している。
【0024】
プレゼンテーション記述スキーム36の情報を有するエンコーダ34は、プレゼンテーション記述35を解釈して、指定のマルチメディアプレゼンテーションの内部タイムグラフを構築する。タイムグラフは、様々なリソース間のプレゼンテーションスケジュールと同期関係のモデルを形成する。タイムグラフを使用すると、エンコーダ34は、必要なコンポーネントの配信をスケジュールを調整して、送信する予定の基本データストリーム37及び38を生成する。好ましくは、エンコーダ34は、コンテンツの記述33を複数のデータストリーム38に分割する。エンコーダ34はURIテーブルを構築することによって動作することが好ましく、このURIテーブルは、AVコンテンツ31、32及び記述33に含まれるURIリファレンスを対応する基本(ビット)ストリーム37及び38のローカルアドレス(例えば、オフセット)へマッピングする。送信中のストリーム37及び38はデコーダ(不図示)で受信され、デコーダはURIリファレンスを復号するための試行を行う場合にURIテーブルを使用する。
【0025】
プレゼンテーション記述スキーム36は、いくつかの場合、SMILに基づいていても良い。開発中のMPEG−4は、SMILベースのプレゼンテーション記述をMPEG−4ストリームで処理することを可能にする。
【0026】
MPEG−4プレゼンテーションは、シーンを構成する。MPEG−4のシーンは、シーングラフと呼ばれる階層構造となっている。シーングラフの各ノードは、コンパウンドあるいはプリミティブメディアオブジェクトである。コンパウンドメディアオブジェクトは、プリミティブメディアオブジェクトをグループ化したものである。プリミティブメディアオブジェクトは、シーングラフのリーフに対応し、かつAVメディアオブジェクトである。シーングラフは、静的である必要はない。ノード属性(例えば、位置決めパラメータ)は変更でき、かつノードは追加、再配置あるいは削除することができる。ここで、シーン記述ストリームは、シーングラフを送信するために使用することができ、シーングラフに更新する。
【0027】
AVメディアオブジェクトは、ストリーミングデータに依存することができ、これは1つ以上の基本ストリーム(ES)で搬送される。1つのメディアオブジェクトに関連付けられているすべてのストリームは、オブジェクト記述子(OD)によって識別される。しかしながら、異なるコンテンツを表現するストリームは、専用オブジェクト記述子を介して参照されなければならない。追加補助情報は、OCIとして(オブジェクトコンテンツ情報)、テクスト形式のオブジェクト記述子に添付することができる。OCIストリームをオブジェクト記述子に添付することもできる。OCIストリームは、OCIイベントのセットを搬送し、これは、それらの開始時間と期間によって修正される。MPEG4プレゼンテーションの基本ストリームは、その概要が図8に示されている。
【0028】
MPEG−4では、AVオブジェクトに関する情報が、オブジェクトコンテンツ情報(OCI)記述子あるいはストリームを使用して、記憶されかつ送信される。AVオブジェクトは、関連OCI記述子あるいはストリームへのリファレンスを含んでいる。図4Aに示されるように、このような構成は、記述及びコンテンツ間の特定一時関係と、AVオブジェクトとOCI間の1対1の関係を必要とする。
【0029】
しかしながら、通常は、マルチメディア(例えば、MPEG−7)記述は、特定MPEG−4 AV オブジェクトあるいはシーングラフ用には記述されておらず、実際には、MPEG−4 AV オブジェクトとプレゼンテーションを構成するシーングラフの特定情報を使用しないで記述されている。記述は、通常、AVコンテンツの情報の上位レベルビューを提供する。ここで、記述の一時的な概念は、MPEG−4 AV オブジェクトとシーングラフの概念に沿っていない可能性がある。例えば、MPEG−7記述で記述されるビデオ/オーディオセグメントは、任意のMPEG−4ビデオ/オーディオストリームあるいはシーン記述ストリームに対応していない。セグメントは、ビデオストリームの最終部分と、次のビデオストリームの開始部分を記述することができる。
【0030】
本開示は、マルチメディア記述あるいはそれらの各フラグメントがAVオブジェクトの別のクラスとして扱われる場合に、より柔軟で矛盾のない方法を提供するものである。つまり、他のAVオブジェクトのように、各記述は、自身の一時的なスコープ(scope)とオブジェクト記述子(OD)を有している。シーングラフは、新規な(例えば、MPEG−7)記述ノードをサポートするために拡張されている。このような構成を用いることで、マルチメディア(例えば、MPEG−7)記述フラグメントを送信することができ、これは、他のAVメディアオブジェクトの一時的なスコープとは関係なく、1つのデータストリームあるいは分離されたストリームとして、種々の一時的なスコープのサブフラグメントを有している。このようなタスクは、エンコーダ34によって実行され、かつ図4AのMPEG−4に適用される、このような構造の例は、図4Bに示されている。図4Bにおいて、OCIストリームは、必要に応じて、関連記述フラグメント及び他のAVオブジェクト特定情報のリファレンスを含ませるためにも使用される。
【0031】
他のAVオブジェクトと同じ方法でMPEG−7記述を処理することは、プレゼンテーション記述スキーム36のメディアオブジェクト要素にマッピングすることができ、かつ同一のタイミング及び同期モデルにすることができることを意味している。具体的には、SMILベースのプレゼンテーション記述スキーム36の場合では、新規のメディアオブジェクト要素、例えば、<mpeg7>タグを定義することができる。選択的には、MPEG−7記述は、特定タイプのテキスト(例えば、イタリックで表現される)として取り扱うことができる。ここで、共通メディアオブジェクト要素<video>、<audio>、<animation>、<text>等は、SMILで予め定義されている。記述ストリームは、更に、構造ストリームとテキストストリームに分割することができる。
【0032】
図4Cでは、マルチメディアストリーム40は、オーディオストリーム41とビデオストリーム42を含むように示されている。また、メディアオブジェクトの(コンパウンドあるいはプリミティブ)ノードからなり、かつリーフノード(プリミティブメディアオブジェクトである)を有する上位レベルシーン記述ストリーム46が含まれており、これは、オブジェクト記述子ストリーム47を構成するオブジェクト記述子ODnを示している。下位レベル記述ストリーム43、44及び45も示されており、これらはそれぞれ、オーディオ及びビデオストリーム41及び42として、オブジェクト記述ストリーム47を示すあるいはリンクされるように構成されているコンポーネントを有している。このようなオブジェクト指向ストリーミングがメディアオブジェクトとしてコンテンツと記述を扱うことで、記述とコンテンツ間の一時的な不定関係は、ストリームに組み込まれている一時的なオブジェクト記述を介して提供することができる。
【0033】
コンテンツとともに記述をストリーミングする上述の方法は、記述がコンテンツと一時的にある程度の関係を有している場合に適している。この例として、ムービーの特定シーンの記述がある。これは、複数のカメラアングルを提供する、つまり、視聴者に複数のビデオストリームへのアクセスを可能にする。これは、1つのビデオストリームが、実際には会話、ムービーをリアルタイム動作で視聴することができるようにするためである。これは、任意の記述と対比されるべきであり、この任意の記述は、ストリーム化コンテンツと一時的に定義可能な関係を有していない。このような例は、ムービーの新聞の論評のテキストレビューであっても良い。このようなレビューは、シーンとキャラクタの一時的かつ部分的なリファレンスに対し、テキストリファレンスとなっていても良い。任意の記述のプレゼンテーションへの変換は、非自明な(かつたいていは不可能な)タスクである。AVコンテンツの記述のほとんどは、プレゼンテーションを考慮して記述されていない。これらは、単に、コンテンツと、大まかな様々なレベルで、かつ種々の相対関係にある他のオブジェクトとの関係を記述している。プレゼンテーション記述スキーム36を使用しない記述からのプレゼンテーションの生成は、プレゼンテーション記述35のシステム的な生成に対して、特定アプリケーションのユーザ操作によって最適に作成される任意の決定を含んでいる。
【0034】
図5は、コンテンツとともに記述をストリーミングする別の構成50を示しており、本発明の発明者は、これを「メディア−中心(centric)」と呼んでいる。AVコンテンツ51とそのコンテンツ51の記述52はコンポーザ54へ提供され、また、プレゼンテーションテンプレート53とともに入力され、これはプレゼンテーション記述スキーム55の情報を有している。コンテンツ51は、ビデオとそのオーディオトラックを初期AVメディアオブジェクトとして示されるように示しているが、初期AVオブジェクトは実際のマルチメディアプレゼンテーションとすることができる。
【0035】
メディア−中心ストリーミングでは、AVメディアオブジェクトは、最終プレゼンテーションのAVコンテンツ51とタイムラインを提供する。これは、プレゼンテーションのタイムラインを提供するプレゼンテーション記述である記述中心ストリーミングとは対照的である。AVコンテンツの関連情報はコンポーザ54によってコンテンツの記述52のセットから取得され、最終プレゼンテーションのコンテンツとともに配信される。コンポーザ54から出力される最終プレゼンテーションは、上述の図3の構成のような、あるいはすべての関連コンテンツのプレゼンテーション記述56のような、基本ストリーム57及び58の形式となっている。
【0036】
プレゼンテーションテンプレート53は、必要とされ、かつ最終プレゼンテーションに対しては省略されるべきである記述要素のタイプを特定するために使用される。テンプレート53は、必要とされる記述がどのようにしてプレゼンテーションへ組み込まれるべきかを示す命令を含んでいても良い。XSL変換(XSLT)のような既存言語が、テンプレートを特定するために使用されても良い。ソフトウェアアプリケーションとして実行することができるコンポーザ54は、コンテンツを記述するのに必要な記述のセットを解析し、かつプレゼンテーションのタイムラインに組み込むための必要な要素(任意の関連サブ要素)を抽出する。必要な要素は、プレゼンテーション用に有益なAVコンテンツに関する記述情報を含む要素であることが好ましい。加えて、選択要素(IDREFあるいはURIリファレンス)によって参照される要素(同一セットの記述からの)も含まれ、かつこれらの対応する参照要素(「リファラー」)より前にストリーミングされる。これは、選択要素を、そのリファレンスの要素によって(直接的あるいは間接的)に順番に参照することが可能である。選択要素は、別の選択要素に対するフォワードリファレンスを有することこも可能である。適切な学習を、このような要素がストリーミングされる順番を判定するために使用することができる。プレゼンテーションテンプレート53も、このような状況を回避するために構成することができる。
【0037】
コンポーザ54は、基本ストリーム57、58を直接生成するあるいは、最終プレゼンテーションをプレゼンテーション記述56を出力する、これは、周知のプレゼンテーション記述スキーム55と一致する。
【0038】
図6は、コンポーザアプリケーション54がXSLTベースのプレゼンテーションテンプレート60をどのようにして使用して、必要な記述フラグメントをムービー記述62から抽出し、SMILのようなプレゼンテーション記述64(あるいはプレゼンテーション記述)を生成するかの例を示している。SMILの<par>は、開始時間と、同時に提示対象となるメディアオブジェクト群の期間を特定する。プレゼンテーション記述64で示される<mpeg7>要素は、例えば、MPEG−7記述フラグメントを識別する。この記述は、URIリファレンスによってインラインあるいは参照されても良い。src属性は、関連記述(フラグメント)に対するURIリファレンスを含んでいる。プレゼンテーション記述64のcontent属性は、これに含まれる記述のコンテキストを記述している。<mpeg7>タグのような専用要素は、記述フラグメントを特定するためのプレゼンテーション記述スキーム55で定義することができ、この記述フラグメントは、別々に及び異なる時間の少なくとも一方でプレゼンテーション記述64でストリーミングすることができる。
【0039】
プレゼンテーション記述スキーム36及び55それぞれをマルチメディアプレゼンテーション記述言語として使用することは、記述中心ストリーミング方法とメディア中心ストリーミング方法である上述の2つの方法との橋渡しを行う。また、スキーム36及び55は、アプリケーションレイヤとシステムレイヤ間を明確に分けることを可能にする。具体的には、図5のコンポーザアプリケーション54は、プレゼンテーションを(プレゼンテーション)記述56として出力することで、記述56を図3の構成の入力プレゼンテーション記述35として使用されることを許容する場合、これによって、システムレイヤに存在するエンコーダ34に、プレゼンテーション記述56から必要な基本ストリーム37、38を生成することを可能にする。
【0040】
AVコンテンツとともに記述をストリーミングする場合、AVコンテンツのサイズと比較した場合に記述のサイズをほとんどなくすような、かなり有効な記述の圧縮手段が必要であるかどうかは疑問である。そうでなければ、記述のストリーミングは依然として必要である、これは、AVコンテンツの前に記述全体を送信すること(かつ、配信の場合は、その繰り返し)は、待ち時間が長くなり、デコーダに大容量のバッファが必要となるからである。
【0041】
マルチメディアプレゼンテーションの部分を生成する記述に対しては、プレゼンテーションのタイムラインに沿って対応するコンテンツの変更が生じる可能性がある。しかしながら、この記述は、実際には「動的」ではない(即ち、時間とともに変化しない)。より正確には、異なる記述あるいは記述の異なる部分の各情報は配信され、かつ別々の時間でプレゼンテーションに組み込まれる。実際に、十分なリソースと帯域幅を利用可能な場合、すべての「静的」記述は、後でプレゼンテーションに組み込むために同時に受信機へ送信することができる。そうでなければ、プレゼンテーションの中で配信され、かつ提示される情報は、一時的な「動的」記述を生成するものとして扱うことができる。
【0042】
あるタイムインスタンスから次のタイムインスタンスで提供される情報がほとんど変更されていない場合には、更新を、変更されていない情報を繰り返すことなく、変更部分を反映するための更新を送信することができる。提供される要素は、開始時刻と、他のAVオブジェクトのような期間(あるいは終了時刻)でタグ付けされていても良い。要素(あるいはコンテキスト)の位置のような他の属性も特定することができる。1つの利用可能な方法は、AVオブジェクトと(フラグメントの)記述のタイミングと同期を特定するための拡張SMILを使用することである。
【0043】
例えば、サッカーチームのビデオクリップと動作するフラグメントの記述は、以下のSMIL風のXMLコードの例1に従って記述することができる。
【0044】
Figure 2004503191
「動的」記述への更新は、注意して適用しなければならない。部分更新は、記述を矛盾状態にする可能性がある。ビデオとオーディオに対し、Webを介する送信中に欠落したデータパケットは、たいていはノイズとして現れる、あるいは認識すらされない。しかしながら、矛盾した記述は、深刻な結果を伴う誤解釈をもたらす可能性がある。例えば、天気予報において、記述の都市の要素が「東京」から「シドニー」へ更新された後に、温度の要素が欠落して更新された場合には、記述は、東京の温度をシドニーの温度として報告することになる。別の例としては、ストリーム化ビデオゲームで接近した状態で航空機の座標を更新した後に、カテゴリの要素の記述が欠落している場合には、「味方の」飛行機が「敵」として誤って区別される可能性がある。
【0045】
以下の例2で示されるような、更に別の例では、販売カタログ中のアイテム番号が間違った値段でタグ付けされてしまっている。ここで、記述に関連するすべての更新は、一度あるいは所定期間の間だけ適用されなければならない、あるいはまったく適用されてはならない。例えば、以下の販売カタログの例では、10秒毎に、記述と新規アイテムの値段との照合が提示される。SMIL要素parは、関連記述要素のすべてを保持するために使用される。新規のsync属性は、記述と値段との照合が提示されているかいないかを確認するために使用される。dur属性は、情報が適切な時間期間に対して適用され、かつディスプレイから消去されていることを確認する。
【0046】
Figure 2004503191
ストリーミングデコーダは、syncedされている要素群をバッファして、かつそれ全体を適用する必要がある。損失情報は許容でき、かつ不完全情報に矛盾はなく、そして、sync属性は必要とされない。このような場合、関連要素も、時間期間で配信及び提供の少なくとも一方を実行することができる。これは、以下の例3を使用して説明することができる。
【0047】
Figure 2004503191
記述から何らのヒントなしに、文書ツリーのどの更新同士が関連しており、かグループ化されるべきであるかをシステムレイヤで決定することは、不可能でないとしてもかなり難しい。ここで、システムレイヤは、データストリーム中のグループ化対象の更新を可能とし、かつこのようなグルーピングをアプリケーションに特定させることを可能にする手段(例えば、上述のプレゼンテーション記述例におけるsync属性)を提供する一方で、実際のグルーピングは、特定アプリケーションでなされるべきである。
【0048】
アップストリームチャネルがクライアントからサーバへと利用可能である場合、そのクライアントは任意の損失しているあるいは破壊されている更新パケットに対する信号をサーバへ通知することができ、かつそれらの再送信を要求あるいは更新全体を無視することができる。
【0049】
記述がAVコンテンツとともに配信される場合、その記述がAVコンテンツと関係のある期間中は、記述のXML構造とテキストは一定間隔で繰り返されることが望ましい。これは、ユーザに、任意の時間に記述にアクセス(あるいは関与)することを可能にする。記述は、AVコンテンツほど頻繁に繰り返される必要はない、これは、記述の変更はかなり少なく、かつ同時に、デコーダの終端で計算に使用するリソースの消費は著しく少ないからである。そうでなければ、配信プログラムへのチューニング後に知覚される遅延なしで、ユーザにその記述を使用することを可能にするために、記述は頻繁に繰り返されるべきである。記述が、その記述が繰り返されるレートと同一のレート、あるいはそれより低いレートで変更する場合、「動的に」記述を更新する機能が重要である、あるいは実際に必要であるかは疑問である。
【0050】
上述のコンテンツとともに記述をストリーミングする方法は、例えば、図7に示されるような汎用コンピュータシステム700を使用して実施でき、ここで、図2から図6の処理は、コンピュータシステム700内で動作するアプリケーションプログラムのようなソフトウェアとして実現されても良い。特に、方法の工程は、コンピュータによって実行されるソフトウェアの命令によって達成される。ソフトウェアは2つの部分に分けられても良く、1つは符号化/構築/ストリーミング方法を実行する部分、もう1つは前者の方法とユーザ間のユーザインタフェースを管理するための部分に分けられても良い。ソフトウェアは、例えば、以下に説明される記憶デバイスを含むコンピュータ可読媒体に記憶されていても良い。ソフトウェアは、コンピュータ可読媒体からコンピュータにロードされ、そして、コンピュータによって実行される。ソフトウェアあるいはそれに記録されているコンピュータプログラムを有するコンピュータ可読媒体は、コンピュータプログラム製品である。コンピュータでのコンピュータプログラム製品の使用は、本発明の実施形態に従う記述とコンテンツのストリーミング用に有効な装置を達成することが好ましい。
【0051】
コンピュータシステム700は、コンピュータモジュール701、キーボード702及びマウス703のような入力デバイス、プリンタ715及びディスプレイデバイス714を含む出力デバイスからなる。モジュレータ−デモジュレータ(モデム)トランシーバデバイス716は、例えば、電話回線721あるいは他の機能媒体を介して接続可能な通信ネットワーク720との通信用のコンピュータモジュール701によって使用される。モデム716は、インターネットや、例えば、ローカルエリアネットワーク(LAN)あるいはワイドエリアネットワーク(WAN)のような他のネットワークシステムへのアクセスを取得するために使用することができる。コンピュータモジュール701からブロードキャストあるいはウェブキャストされるストリーム化マルチメディアはこのデバイス716を介する。
【0052】
コンピュータモジュール701は、典型的には、少なくとも1つのプロセッサユニット705、例えば、半導体ランダムアクセスメモリ(RAM)やリードオンリメモリ(ROM)で形成されるメモリユニット706、ビデオインタフェース707、キーボード702及びマウス703、かつオプションのジョイスティック(不図示)用I/Oインタフェース713、モデム用インタフェース708を含む入力/出力(I/O)インタフェースを含んでいる。記憶デバイス709が提供され、かつ典型的には、ハードディスクドライブ710及びフロッピー(登録商標)ディスクドライブ711が含まれている。磁気テープドライブ(不図示)が使用されても良い。CD−ROMドライブ712は、通常不揮発データソースとして提供される。コンピュータモジュール701のコンポーネント705から713は、典型的には、関連技術の当業者には周知のコンピュータシステム700の通常動作モードになる方法で内部バス704を介して通信する。本実施形態が実施できるコンピュータプラットフォームの例には、IBMPC互換機、サンスパークステーションあるいは特に、サーバ形態として提供される場合に、それらから改良されたコンピュータシステムの類を含んでいる。
【0053】
典型的には、本実施形態のアプリケーションプログラムは、ハードディスクドライブ710上に常駐し、プロセッサ705によって読み出され、その実行が制御される。プログラム及びネットワーク720からフェッチされる任意のデータの中間記憶は、おそらくは、ハードディスクドライブ710とともに、半導体メモリ706を使用して達成される。ハードディスクドライブ710とCD−ROM712は、マルチメディア記述とコンテンツ情報用のソースを生成することができる。いくつかの例では、アプリケーションプログラムは、CD−ROMあるいはフロッピー(登録商標)ディスク上にユーザによって符号化された形で供給され、これらの対応するドライブ712あるいは711を介して読み出されても良い、あるいは、モデムデバイス716を介してネットワーク720からユーザによって読み出されても良い。更に、また、ソフトウェアは、他のコンピュータ可読媒体からコンピュータシステム700へロードすることもでき、この他のコンピュータ可読媒体には、磁気テープ、ROMあるいは集積回路、光磁気ディスク、コンピュータモジュールと他のデバイス間の無線あるいは赤外線送信チャネル、PCMCIAカードのようなコンピュータ可読カード、e−メール送信、ウェブサイト上に記録されている情報を含むインターネット及びイントラネット等の類が含まれる。上述の内容は、関連コンピュータ可読媒体の単なる例示である。他のコンピュータ可読媒体が、本発明の範囲及び精神を逸脱しないで実施することができる。
【0054】
ストリーミング方法のいくつかの目的は、上述の機能あるいはサブ機能を実行する1つ以上の集積回路のような専用ハードウェアで実現されても良い。このような専用ハードウェアは、グラフィックプロセッサ、デジタル信号プロセッサ、あるいは1つ以上のマイクロプロセッサと関連メモリを含んでいても良い。
【0055】
産業適用性
本発明の実施形態がマルチメディアコンテンツと記述の配信に適用可能で、かつコンピュータ、データ処理及び電気通信産業に直接関係があることが上述の内容から明らかであろう。
【0056】
上述の内容は、本発明のいくつかの実施形態を記載しているに過ぎず、変形及び変更の少なくとも一方が、本発明の範囲及び精神から逸脱しないで実現でき、これらの実施形態は例示であり、制限するものではない。
【図面の簡単な説明】
【図1A】
従来のXML文書の符号化の例を示す図である。
【図1B】
従来のXML文書の符号化の例を示す図である。
【図2】
XML文書のストリーミングの第1の方法を示す図である。
【図3】
ストリーミングがプレゼンテーション記述によって実行される場合の「記述−中心」ストリーミングの第2の方法を示す図である。
【図4A】
従来のストリームを示す図である。
【図4B】
本発明の一実施形態に従うストリームを示す図である。
【図4C】
記述ストリームの好適な分割を示す図である。
【図5】
「メディア−中心」ストリーミングの第3の方法を示す図である。
【図6A】
コンポーザアプリケーションの一例を示す図である。
【図6B】
コンポーザアプリケーションの一例を示す図である。
【図7】
本発明の実施形態で実施可能な汎用コンピュータの概要ブロック図である。
【図8】
MPEG−4ストリームの概要図である。

Claims (33)

  1. コンテンツ及び記述コンポーネントを有する少なくとも1つのメディアオブジェクトからストリーム化プレゼンテーションを生成する方法であって、
    前記少なくとも1つのメディアオブジェクトの前記記述コンポーネント記述の少なくとも1つからプレゼンテーション記述を生成する工程と、
    前記プレゼンテーションのコンポーネント記述コンポーネントとコンテンツコンポーネントの配信のスケジュールを調整するために前記プレゼンテーション記述を処理し、該コンポーネント記述コンポーネントとコンテンツコンポーネントに関連付けられている基本データストリームを生成する工程と
    を備えることを特徴とする方法。
  2. 前記処理は、更に、前記記述コンポーネント記述を複数の前記データストリームに構成する
    ことを特徴とする請求項1に記載の方法。
  3. 前記プレゼンテーション記述は、前記記述コンポーネントへのリファレンスを有し、前記記述コンポーネントは前記少なくとも1つのメディアオブジェクトとともにストリーミングされる
    ことを特徴とする請求項1に記載の方法。
  4. 前記プレゼンテーション記述は、前記記述コンポーネントをインポートすることによって生成され、前記生成は、前記プレゼンテーション記述と前記少なくとも1つのメディアオブジェクトだけをストリーミングするように動作する
    ことを特徴とする請求項1に記載の方法。
  5. コンテンツ及び記述コンポーネントを有する少なくとも1つのメディアオブジェクトのストリーム化プレゼンテーションを生成する方法であって、
    プレゼンテーション記述の構造を定義するプレゼンテーションテンプレートを提供する工程と、
    前記記述コンポーネントのそれぞれから前記プレゼンテーション記述を生成するために、少なくとも1つの関連メディアオブジェクトの少なくとも1つの記述コンポーネントへ前記プレゼンテーションテンプレートを適用する工程と、
    前記ストリーム化プレゼンテーションを生成するために、前記関連メディアオブジェクトのそれぞれを用いて前記プレゼンテーション記述をストリーム符号化する工程とを備え、これによって、前記少なくとも1つのメディアオブジェクトは、前記プレゼンテーション記述を使用して再生可能となる
    ことを特徴とする方法。
  6. 記述とともにコンテンツをストリーミングするためのプレゼンテーション記述を生成する方法であって、
    プレゼンテーション記述の構造を定義するプレゼンテーションテンプレートを提供する工程と、
    前記記述コンポーネントのそれぞれから前記プレゼンテーション記述を生成するために、少なくとも1つの関連メディアオブジェクトの少なくとも1つの記述コンポーネントへ前記プレゼンテーションテンプレートを適用する工程とを備え、前記プレゼンテーション記述は、ストリーム化再生用に指定されている記述コンポーネントと、その記述コンポーネントに関連付けられているコンテンツコンポーネント間のシーケンシャル関係を定義している
    ことを特徴とする方法。
  7. 更に、前記プレゼンテーション記述を請求項1に記載の方法に適用する
    ことを特徴する請求項6に記載の方法。
  8. 前記ストリーム化プレゼンテーションは、記述オブジェクトを参照する少なくとも1つのノードを有する記述ツリーを有する
    ことを特徴とする1、5あるいは6のいずれか1項に記載の方法。
  9. 前記ストリーム化プレゼンテーションは、更に、前記メディアオブジェクトの少なくとも1つを参照する少なくとも1つの追加ノードを有する
    ことを特徴とする請求項8に記載の方法。
  10. 前記ストリーム符号化は、
    複数のプレゼンテーションシーケンシャル記述オブジェクトを生成するために前記プレゼンテーション記述を解析し、前記記述オブジェクトのそれぞれは少なくとも1つの関連メディアオブジェクトとの関連付けが可能であり、
    前記記述オブジェクトと前記関連メディアオブジェクトのストリーム化シーケンスを生成し、前記ストリーム化シーケンスは前記ストリーム化プレゼンテーションである
    ことを特徴とする請求項1、5あるいは6のいずれか1項に記載の方法。
  11. 前記記述オブジェクトと前記関連メディアオブジェクト間の関係は、前記ストリーム化プレゼンテーションの一部を構成する追加オブジェクトによって定義され、前記追加オブジェクトのそれぞれは、前記記述オブジェクトと前記メディアオブジェクトの少なくとも1つを参照するノードを有するツリー構造を有する
    ことを特徴とする請求項10に記載の方法。
  12. 前記プレゼンテーション記述は、タイムシーケンシャル方法によって再生することが意図されているコンテンツを記述するXML文書からなる
    ことを特徴とする請求項1、5あるいは6のいずれか1項に記載の方法。
  13. 前記プレゼンテーション記述は、前記メディアオブジェクトと前記記述のタイミングと同期を特定するために使用されるSMIL記述を変更することによって生成される
    ことを特徴とする請求項1、5あるいは6のいずれか1項に記載の方法。
  14. 複数の記述オブジェクト間に配置されている複数のコンテンツオブジェクトを有するストリーム化プレゼンテーションであって、前記記述オブジェクトは前記コンテンツオブジェクトから再生可能なマルチメディアコンテンツへのリファレンスを有する
    ことを特徴とするストリーム化プレゼンテーション。
  15. プレゼンテーションのツリー構造を表す第1ストリームと、前記ツリー構造からそれぞれ参照されるオブジェクト記述子を有する少なくとも1つの第2ストリームと、前記オブジェクト記述子から参照され、かつ前記プレゼンテーションで再生されることが意図されているコンテンツを有する少なくとも1つの第3ストリームと、前記オブジェクト記述子から参照される前記コンテンツの記述を有する少なくとも1つの第4ストリームを有するストリーム化マルチメディアプレゼンテーション。
  16. 前記第3ストリームは、MPEG−4ストリームを有する
    ことを特徴とする請求項15に記載のストリーム化マルチメディアプレゼンテーション。
  17. 前記第2ストリームは、前記第4ストリームで表現されるMPEG−7情報を参照するURIを有するオブジェクトコンテンツ情報ストリームを有する
    ことを特徴とする請求項16に記載のストリーム化マルチメディアプレゼンテーション。
  18. XML文書を配信する方法であって、
    XMLテキストからXML構造を分離するために、前記XML文書を分割する工程と、
    複数のデータストリームで前記XML文書を配信する工程とを備え、前記ストリームの少なくとも1つは、前記XML構造と、前記XMLテキストを有する前記ストリームとは別の少なくとも1つを有する
    ことを特徴とする方法。
  19. 前記分割は、前記XML文書をツリー表現に変換する
    ことを特徴とする請求項18に記載の方法。
  20. 前記ツリー表現は、幅優先方法で分割される
    ことを特徴とする請求項19に記載の方法。
  21. 前記ツリー表現は、深度優先方法で分割される
    ことを特徴とする請求項19に記載の方法。
  22. マークアップ言語で記述されている文書を処理する方法であって、
    前記文書を構造及びテキストコンテンツに分離する工程と、
    前記テキストコンテンツの前に前記構造を送信する工程と、
    前記テキストコンテンツが受信される前に、前記構造の解析を開始する工程と
    を備えることを特徴とする方法。
  23. 前記構造の解析の結果、必要とされないテキストコンテンツが検出される場合、あるいは解釈ができないテキストコンテンツである場合、前記テキストコンテンツを無視する工程を更に備える
    ことを特徴とする請求項22に記載の方法。
  24. 前記無視する工程は、無視されるべき前記テキストコンテンツのバッファリングを禁止する
    ことを特徴とする請求項23に記載の方法。
  25. 前記マークアップ言語は、XMLである
    ことを特徴とする請求項22に記載の方法。
  26. 前記分離する工程は、前記構造と前記テキストコンテンツを2つのストリームとして符号化する
    ことを特徴とする請求項22に記載の方法。
  27. 前記文書はツリー階層表現として生成され、前記分離する工程は、更に、前記2つのストリームを生成するために、深度優先形態で前記文書を解釈する
    ことを特徴とする請求項26に記載の方法。
  28. 前記文書はツリー階層表現として生成され、前記分離する工程は、更に、前記2つのストリームを生成するために、幅優先形態で前記文書を解釈する
    ことを特徴とする請求項26に記載の方法。
  29. 請求項1乃至12あるいは請求項17乃至28のいずれか1項に記載の方法を実行する装置。
  30. 請求項1乃至12あるいは請求項17乃至28のいずれか1項に記載の方法に従うストリーム化プレゼンテーション生成処理をコンピュータに実行させるように構成されているプログラムが記憶されているコンピュータ可読媒体。
  31. 図面の図2、図3及び図4Cを参照して実質的に説明されるストリーム化記述を有するストリーム化プレゼンテーションを生成する方法。
  32. 図面の図2、図5及び図4Cを参照して実質的に説明されるストリーム化記述を有するストリーム化プレゼンテーションを生成する方法。
  33. 図面の図4Bあるいは図4Cを参照して実質的に説明されるストリーム化プレゼンテーション。
JP2002509884A 2000-07-10 2001-07-05 文書処理方法 Expired - Fee Related JP3880517B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AUPQ8677A AUPQ867700A0 (en) 2000-07-10 2000-07-10 Delivering multimedia descriptions
PCT/AU2001/000799 WO2002005089A1 (en) 2000-07-10 2001-07-05 Delivering multimedia descriptions

Publications (2)

Publication Number Publication Date
JP2004503191A true JP2004503191A (ja) 2004-01-29
JP3880517B2 JP3880517B2 (ja) 2007-02-14

Family

ID=3822741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002509884A Expired - Fee Related JP3880517B2 (ja) 2000-07-10 2001-07-05 文書処理方法

Country Status (6)

Country Link
US (2) US20040024898A1 (ja)
EP (1) EP1299805A4 (ja)
JP (1) JP3880517B2 (ja)
CN (1) CN100432937C (ja)
AU (1) AUPQ867700A0 (ja)
WO (1) WO2002005089A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005530266A (ja) * 2002-06-20 2005-10-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Xml文書の構造化ストリーミング方法及び装置

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1199893A1 (en) * 2000-10-20 2002-04-24 Robert Bosch Gmbh Method for structuring a bitstream for binary multimedia descriptions and method for parsing this bitstream
FI20010536A (fi) * 2001-03-16 2002-09-17 Republica Jyvaeskylae Oy Menetelmä ja laitteisto tiedon käsittelemiseksi
US7216288B2 (en) * 2001-06-27 2007-05-08 International Business Machines Corporation Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system
FR2829330B1 (fr) * 2001-08-31 2003-11-28 Canon Kk Procede de demande de reception du resultat d'execution d'une fonction a distance a une date predeterminee
GB2382966A (en) 2001-12-10 2003-06-11 Sony Uk Ltd Providing information and presentation template data for a carousel
US20040167925A1 (en) * 2003-02-21 2004-08-26 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7613727B2 (en) 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
JP4732418B2 (ja) * 2002-04-12 2011-07-27 三菱電機株式会社 メタデータ処理方法
JP4652389B2 (ja) * 2002-04-12 2011-03-16 三菱電機株式会社 メタデータ処理方法
AU2003221185A1 (en) 2002-04-12 2003-10-27 Mitsubishi Denki Kabushiki Kaisha Meta data edition device, meta data reproduction device, meta data distribution device, meta data search device, meta data reproduction condition setting device, and meta data distribution method
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7831990B2 (en) * 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
JP2003323381A (ja) * 2002-05-07 2003-11-14 Fuji Photo Film Co Ltd マルチメディアコンテンツ作成装置およびマルチメディアコンテンツ作成方法
US7439982B2 (en) * 2002-05-31 2008-10-21 Envivio, Inc. Optimized scene graph change-based mixed media rendering
KR20030095048A (ko) 2002-06-11 2003-12-18 엘지전자 주식회사 멀티미디어 재생 방법 및 장치
AUPS300402A0 (en) 2002-06-17 2002-07-11 Canon Kabushiki Kaisha Indexing and querying structured documents
NO318686B1 (no) * 2002-09-27 2005-04-25 Gridmedia Technologies As Multimedia-filformat
KR100449742B1 (ko) * 2002-10-01 2004-09-22 삼성전자주식회사 멀티미디어 방송 송수신 장치 및 방법
US7519616B2 (en) * 2002-10-07 2009-04-14 Microsoft Corporation Time references for multimedia objects
US20040111677A1 (en) * 2002-12-04 2004-06-10 International Business Machines Corporation Efficient means for creating MPEG-4 intermedia format from MPEG-4 textual representation
JP3987025B2 (ja) * 2002-12-12 2007-10-03 シャープ株式会社 マルチメディアデータ処理装置およびマルチメディアデータ処理プログラム
US7350199B2 (en) * 2003-01-17 2008-03-25 Microsoft Corporation Converting XML code to binary format
KR100511308B1 (ko) * 2003-04-29 2005-08-31 엘지전자 주식회사 휴대 단말기에서 스마일 문서의 z-인덱스 처리방법
US7512622B2 (en) * 2003-06-11 2009-03-31 Yahoo! Inc. Method and apparatus for organizing and playing data
JP4418183B2 (ja) * 2003-06-26 2010-02-17 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
EP1503299A1 (en) 2003-07-31 2005-02-02 Alcatel A method, a hypermedia communication system, a hypermedia server, a hypermedia client, and computer software products for accessing, distributing, and presenting hypermedia documents
US7979886B2 (en) 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
DE102004043269A1 (de) * 2004-09-07 2006-03-23 Siemens Ag Verfahren zur Codierung eines XML-basierten Dokuments
GB0420531D0 (en) 2004-09-15 2004-10-20 Nokia Corp File delivery session handling
US20060112408A1 (en) * 2004-11-01 2006-05-25 Canon Kabushiki Kaisha Displaying data associated with a data item
US8438297B1 (en) 2005-01-31 2013-05-07 At&T Intellectual Property Ii, L.P. Method and system for supplying media over communication networks
MY145716A (en) * 2005-04-08 2012-03-30 Qualcomm Inc Method and apparatus for enhanced file distribution in multicast or broadcast
CN105812377B (zh) 2005-06-27 2019-05-17 考文森无限许可有限责任公司 用于动态丰富媒体场景的传送机制
EP1922864B1 (en) * 2005-08-15 2018-10-10 Disney Enterprises, Inc. A system and method for automating the creation of customized multimedia content
US8201073B2 (en) 2005-08-15 2012-06-12 Disney Enterprises, Inc. System and method for automating the creation of customized multimedia content
KR20050092688A (ko) * 2005-08-31 2005-09-22 한국정보통신대학교 산학협력단 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법
US8856118B2 (en) * 2005-10-31 2014-10-07 Qwest Communications International Inc. Creation and transmission of rich content media
US20070213140A1 (en) * 2006-03-09 2007-09-13 Miller Larry D Golf putter and system incorporating that putter
US20070283034A1 (en) * 2006-05-31 2007-12-06 Clarke Adam R Method to support data streaming in service data objects graphs
US8190861B2 (en) * 2006-12-04 2012-05-29 Texas Instruments Incorporated Micro-sequence based security model
CN101271463B (zh) * 2007-06-22 2014-03-26 北大方正集团有限公司 版式文件的结构处理方法和系统
CN101286351B (zh) * 2008-05-23 2011-02-23 广州视源电子科技有限公司 生成流媒体增值描述文件及插播多媒体信息的方法、系统
US10430491B1 (en) 2008-05-30 2019-10-01 On24, Inc. System and method for communication between rich internet applications
WO2010033642A2 (en) 2008-09-16 2010-03-25 Realnetworks, Inc. Systems and methods for video/multimedia rendering, composition, and user-interactivity
CN101540956B (zh) * 2009-04-15 2011-09-21 中兴通讯股份有限公司 场景流接收方法及接收终端
US8706812B2 (en) 2010-04-07 2014-04-22 On24, Inc. Communication console with component aggregation
US11438410B2 (en) 2010-04-07 2022-09-06 On24, Inc. Communication console with component aggregation
KR20120010089A (ko) 2010-07-20 2012-02-02 삼성전자주식회사 Http 기반의 멀티미디어 스트리밍 서비스의 품질 향상을 위한 방법 및 장치
US9762967B2 (en) * 2011-06-14 2017-09-12 Comcast Cable Communications, Llc System and method for presenting content with time based metadata
US11429781B1 (en) 2013-10-22 2022-08-30 On24, Inc. System and method of annotating presentation timeline with questions, comments and notes using simple user inputs in mobile devices
US9930086B2 (en) * 2013-10-28 2018-03-27 Samsung Electronics Co., Ltd. Content presentation for MPEG media transport
US10785325B1 (en) 2014-09-03 2020-09-22 On24, Inc. Audience binning system and method for webcasting and on-line presentations
EP3268887A4 (en) * 2015-03-08 2018-11-14 Soreq Nuclear Research Center Secure document transmission
US11281723B2 (en) 2017-10-05 2022-03-22 On24, Inc. Widget recommendation for an online event using co-occurrence matrix
US11188822B2 (en) 2017-10-05 2021-11-30 On24, Inc. Attendee engagement determining system and method
US11004350B2 (en) * 2018-05-29 2021-05-11 Walmart Apollo, Llc Computerized training video system
US20220134222A1 (en) * 2020-11-03 2022-05-05 Nvidia Corporation Delta propagation in cloud-centric platforms for collaboration and connectivity
WO2022224053A1 (en) * 2021-04-19 2022-10-27 Nokia Technologies Oy Method, apparatus and computer program product for signaling information of a media track

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5353388A (en) * 1991-10-17 1994-10-04 Ricoh Company, Ltd. System and method for document processing
US5787449A (en) * 1994-06-02 1998-07-28 Infrastructures For Information Inc. Method and system for manipulating the architecture and the content of a document separately from each other
FR2735258B1 (fr) * 1995-06-09 1997-09-05 Sgs Thomson Microelectronics Dispositif de decodage d'un flux de donnees
US5907837A (en) * 1995-07-17 1999-05-25 Microsoft Corporation Information retrieval system in an on-line network including separate content and layout of published titles
JP3152871B2 (ja) * 1995-11-10 2001-04-03 富士通株式会社 ラティスをキーとした検索を行う辞書検索装置および方法
US5893109A (en) * 1996-03-15 1999-04-06 Inso Providence Corporation Generation of chunks of a long document for an electronic book system
US5892535A (en) * 1996-05-08 1999-04-06 Digital Video Systems, Inc. Flexible, configurable, hierarchical system for distributing programming
AU740007B2 (en) * 1997-02-21 2001-10-25 Dudley John Mills Network-based classified information systems
US6801575B1 (en) * 1997-06-09 2004-10-05 Sharp Laboratories Of America, Inc. Audio/video system with auxiliary data
US6012098A (en) * 1998-02-23 2000-01-04 International Business Machines Corp. Servlet pairing for isolation of the retrieval and rendering of data
JP3593883B2 (ja) * 1998-05-15 2004-11-24 株式会社日立製作所 映像ストリーム送受信システム
EP1001627A4 (en) * 1998-05-28 2006-06-14 Toshiba Kk DIGITAL BROADCASTING SYSTEM AND CORRESPONDING TERMINAL
US6083276A (en) * 1998-06-11 2000-07-04 Corel, Inc. Creating and configuring component-based applications using a text-based descriptive attribute grammar
US6816909B1 (en) * 1998-09-16 2004-11-09 International Business Machines Corporation Streaming media player with synchronous events from multiple sources
US6675385B1 (en) * 1998-10-21 2004-01-06 Liberate Technologies HTML electronic program guide for an MPEG digital TV system
CA2255047A1 (en) * 1998-11-30 2000-05-30 Ibm Canada Limited-Ibm Canada Limitee Comparison of hierarchical structures and merging of differences
US6580756B1 (en) * 1998-12-11 2003-06-17 Matsushita Electric Industrial Co., Ltd. Data transmission method, data transmission system, data receiving method, and data receiving apparatus
US6635089B1 (en) * 1999-01-13 2003-10-21 International Business Machines Corporation Method for producing composite XML document object model trees using dynamic data retrievals
ATE265066T1 (de) * 1999-02-11 2004-05-15 Pitney Bowes Docsense Inc System zur analyse von daten für den elektronischen handel
JP2001022879A (ja) * 1999-03-31 2001-01-26 Canon Inc 情報処理方法及び装置及びコンピュータ可読媒体
US6763499B1 (en) * 1999-07-26 2004-07-13 Microsoft Corporation Methods and apparatus for parsing extensible markup language (XML) data streams
US6959415B1 (en) * 1999-07-26 2005-10-25 Microsoft Corporation Methods and apparatus for parsing Extensible Markup Language (XML) data streams
US6691119B1 (en) * 1999-07-26 2004-02-10 Microsoft Corporation Translating property names and name space names according to different naming schemes
US6636242B2 (en) * 1999-08-31 2003-10-21 Accenture Llp View configurer in a presentation services patterns environment
AUPQ312299A0 (en) * 1999-09-27 1999-10-21 Canon Kabushiki Kaisha Method and system for addressing audio-visual content fragments
US6981212B1 (en) * 1999-09-30 2005-12-27 International Business Machines Corporation Extensible markup language (XML) server pages having custom document object model (DOM) tags
US6966027B1 (en) * 1999-10-04 2005-11-15 Koninklijke Philips Electronics N.V. Method and apparatus for streaming XML content
US6490580B1 (en) * 1999-10-29 2002-12-03 Verizon Laboratories Inc. Hypervideo information retrieval usingmultimedia
US6693645B2 (en) * 1999-12-01 2004-02-17 Ivast, Inc. Optimized BIFS encoder
US6883137B1 (en) * 2000-04-17 2005-04-19 International Business Machines Corporation System and method for schema-driven compression of extensible mark-up language (XML) documents
US7287216B1 (en) * 2000-05-31 2007-10-23 Oracle International Corp. Dynamic XML processing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005530266A (ja) * 2002-06-20 2005-10-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Xml文書の構造化ストリーミング方法及び装置

Also Published As

Publication number Publication date
US20100138736A1 (en) 2010-06-03
EP1299805A1 (en) 2003-04-09
US20040024898A1 (en) 2004-02-05
EP1299805A4 (en) 2005-12-14
WO2002005089A1 (en) 2002-01-17
CN1441929A (zh) 2003-09-10
JP3880517B2 (ja) 2007-02-14
CN100432937C (zh) 2008-11-12
AUPQ867700A0 (en) 2000-08-03

Similar Documents

Publication Publication Date Title
JP3880517B2 (ja) 文書処理方法
US7457852B2 (en) Wrapper playlists on streaming media services
US7668963B1 (en) News architecture for iTV
US8296805B2 (en) Command description scheme providing for dynamic update of instance documents and their associated schema
US20100185938A1 (en) Mulitple updates to content descriptions using a single command
US20030028557A1 (en) Incremental bottom-up construction of data documents
US20020069217A1 (en) Automatic, multi-stage rich-media content creation using a framework based digital workflow - systems, methods and program products
KR20040031658A (ko) 멀티미디어 오브젝트에 대한 시간 기준
CA2378281A1 (en) System and method for interactively producing a web-based multimedia presentation
US20080126373A1 (en) Structured data receiving apparatus, receiving method, reviving program, transmitting apparatus, and transmitting method
JP2004013823A (ja) コンテンツ配信システム及びプログラム
EP1923797A1 (en) Digital asset management data model
US20020184336A1 (en) Occurrence description schemes for multimedia content
US20040158579A1 (en) Server side play-list
AU2001268839B2 (en) Delivering multimedia descriptions
US20140181882A1 (en) Method for transmitting metadata documents associated with a video
AU2001268839A1 (en) Delivering multimedia descriptions
KR100602388B1 (ko) 엠펙-21 멀티미디어 프레임워크에서의 리소스 참조 방법
Layaïda et al. SMIL: The new multimedia document standard of the W3C
JP2004246908A (ja) 構造化データの送信装置
JP2004318797A (ja) 構造化データの受信方法
JP2004318796A (ja) 構造化データの受信方法
JP2004320687A (ja) 構造化データの受信装置
JP2004318192A (ja) 構造化データの受信プログラム
JP2004318795A (ja) 構造化データの受信方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061107

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees