JP2014530558A - マルチメディアブロードキャストサービスのメディアデータ同期化方法及び装置 - Google Patents

マルチメディアブロードキャストサービスのメディアデータ同期化方法及び装置 Download PDF

Info

Publication number
JP2014530558A
JP2014530558A JP2014531719A JP2014531719A JP2014530558A JP 2014530558 A JP2014530558 A JP 2014530558A JP 2014531719 A JP2014531719 A JP 2014531719A JP 2014531719 A JP2014531719 A JP 2014531719A JP 2014530558 A JP2014530558 A JP 2014530558A
Authority
JP
Japan
Prior art keywords
media data
auxiliary
information
asset
auxiliary media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014531719A
Other languages
English (en)
Other versions
JP6219826B2 (ja
JP2014530558A5 (ja
Inventor
スン−オウ・フワン
ヨン−ハン・キム
キュン−モ・パク
スン−リュル・リュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014530558A publication Critical patent/JP2014530558A/ja
Publication of JP2014530558A5 publication Critical patent/JP2014530558A5/ja
Application granted granted Critical
Publication of JP6219826B2 publication Critical patent/JP6219826B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronisation processes, e.g. processing of PCR [Programme Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

マルチメディアブロードキャストサービスにおいてブロードキャストネットワーク又は通信ネットワークを介してサービスにより受信されたメディアデータと補助データを同期化する装置及び方法が提供される。その方法は、ブロードキャストサービスのために提供されるレギュラーメディアデータを受信するステップと、レギュラーメディアデータに対する補助データを含む補助メディアデータに関する制御情報を受信及び格納するステップと、制御情報に含まれる補助メディアデータに関する位置情報を決定するステップと、位置情報に従って補助メディアデータを受信及び格納するステップとを有する。補助メディアデータの識別子がレギュラーメディアデータのヘッダーに含まれる場合、補助メディアデータの識別子に対応する格納された補助メディアデータを読み取り、ヘッダーに含まれた同期情報によりレギュラーメディアデータと同期して補助メディアデータを実行する。

Description

本発明はマルチメディアブロードキャストサービスに関するもので、特に異種ネットワーク(heterogeneous network)環境で受信器によりブロードキャストネットワーク又は通信ネットワークから受信されるメディアデータと補助データを同期化するための方法及び装置に関する。
一般に、マルチメディアサービスでは、オーディオ又はオーディオ付きのビデオ(以下、“レギュラーメディア”と称する)が提供され、必要に応じて、Ｗｅｂ文書、ウィジェット、対話型アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージのような補助データ(以下、“補助メディア(adjunct media)”と称する）が共に提供される。一部の補助メディアは、レギュラーメディアと時間的に関係なく提供され(以下、“非スケジュールの補助メディア”と称する）、レギュラーメディアのコンテンツに関連する場合には必ず、時間的にレギュラーメディアのコンテンツのうち関連部分と同期して再生されるように提供される(以下、“スケジュール補助メディア”と称する)。後者の場合、レギュラーメディアのコンテンツの関連部分に同期して補助メディアを再生することは、“メディア同期化”と称する。
非スケジュールの補助メディアは、レギュラーメディアのコンテンツと同期化される必要がないので、受信器は、非スケジュール補助メディアを受信すると、直ちにこの補助メディアを再生する。一方、スケジュール補助メディアは、レギュラーメディアのコンテンツのうち関連部分で再生を始め、補助メディアの特性に従って異なるが、その再生は、ユーザーの要請時、チャンネルの変更時、又は補助メディアデータの完全な消耗時に終了する。
従来技術のＤＶＢ(Digital Video Broadcasting)標準であるＥＴＳＩ(European Telecommunication Standard Institute) ＴＳ(Telecommunications Standard）１０２ ８２３Ｖ１.１.１(２００５-１１)では、補助メディアに類似したデータを補助データとして定義する。本明細書では、ＭＭＴ(ＭＰＥＧ(Moving Picture Experts Group) Media Transport)標準(ＩＳＯ(International Organization for Standardization/ＩＥＣ(International Electrotechnical Commission)ＪＴＣ１(Joint Technical Committee 1)/ＳＣ２９(Sub Committee 29)/ＷＧ１１(Working Group 11))によると、補助データの概念は、ブロードキャストネットワークとインターネット両方ともを用いてデータが受信される異種ネットワーク環境でのスマートＴＶに適合するように拡張される。ＭＭＴ標準では、用語“アセット”は、ストリームに類似した概念として使用される。この明細書では、部分的なメディア圧縮データストリームを示す部分メディアストリームは、従来のブロードキャスト標準でのＷｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージに追加され、これらは補助アセット(adjunct asset)と定義される。レギュラーメディアの圧縮データストリームは、レギュラーアセットと定義される。
図１は、従来技術による部分メディアストリームを示す。
図１を参照すると、立体(stereoscopic)ビデオは、左眼及び右眼視点の画像を含み、このうち左眼画像１１１，１１３，１１５は、レギュラーアセット１１０として伝送され、右眼画像１２１は、所定期間(例えば、１分)でのみ補助アセット１２０として伝送される。この場合、受信器は、補助アセット１２０をインターネットを介して予めダウンロードし、ブロードキャストネットワークを介してリアルタイムでレギュラーアセット１１０を受信する場合に、相互にフレーム単位で同期して再生することによって、所定期間での時区間で立体ビデオサービスを提供できる。
従来のＭＰＥＧ-２ ＤＳＭ-ＣＣ(Digital Storage Media-Command and Control)標準(ＩＳＯ/ＩＥＣ１３８１８-６：１９９８)又はＤＶＢ(Digital Video Broadcasting)標準(ＥＴＳＩ ＴＳ１０２ ８２３Ｖ１.１.１)では、コンテンツメタデータ又は補助データをオーディオ又はビデオと同期化するために、メディア同期化クロックであるＭＰＥＧ-２のシステムタイムクロック(ＳＴＣ)の代わり、プログラムアイテムごとにタイムライン(timeline)を別途に構成して使用する。これは、ＳＴＣに基づいたＰＣＲ(Program Clock Reference)に不連続点が存在する可能性があり、ＰＣＲは、プログラムアイテムの開始から終了まで固定レートで増加する連続的タイムラインを構成するために使用できないためである。プログラムアイテム別タイムラインは、ＭＰＥＧ−２ ＤＳＭ-ＣＣ標準でメタデータコンテンツタイムラインと呼ばれ、ＤＶＢ標準ではＤＶＢブロードキャストタイムラインと呼ばれる。２個の標準でのタイムラインは構成方式及び名称は異なるが、これらは、レギュラーメディアと補助メディアとの同期化のためのタイムライン(以下、“メディアタイムライン”と称する)である。従来技術のメディアタイムラインに基づき、メタデータはビデオセグメントと関連され、あるいは補助データはビデオと同期化が実行される。
図２Ａ〜図２Ｄは、従来技術のＭＰＥＧ-２ ＤＳＭ-ＣＣ標準でのメタデータコンテンツタイムラインによるアプリケーションの同期化を示す。
図２Ａ〜図２Ｄを参照すると、アプリケーションは補助アセットであり、レギュラーアセットであるビデオと同期化される。図２Ｃは、正規プログラムのビデオに対するメタデータコンテンツタイムラインを示す。このタイムラインは、ビデオの開始から終了まで再生時間による連続的なタイムラインであるが、スタジオ内の編集の必要性に応じて新たなシーンが分単位の時間から始まる場合、１分以内の不連続区間が含まれてもよい。図２Ｄは、図２Ｃに示すプログラムの間に挿入される広告のメタデータコンテンツタイムラインを示す。図２Ａ〜図２Ｄでは、広告中に特定時点で広告製作者の意図通りに実行される補助アセットであるアプリケーションが存在する。図２Ｂは、図２Ｃ及び図２Ｄをブロードキャストネットワークを介して伝送する場合、ＭＰＥＧ-２システム標準のＳＴＣによるタイムラインを示す。ＳＴＣベースのタイムライン上に、不連続区間は、ストリーム編集、ストリームスプライシング(splicing)により存在する。ＳＴＣベースのタイムライン上に特定時点を指定し、指定された時点でアプリケーションを実行するために、同一広告を伝送する度に変化する該当時点でのＳＴＣは、新しく読み取ってアプリケーションのＰＴＳ(Presentation Time Stamp)として伝送される。ＭＰＥＧ-２ ＤＳＭ-ＣＣ標準では、このような不便さを解消するために、図２Ａに示すように伝送されるが、アプリケーションが実行される時点は、メタデータコンテンツタイムラインＢに基づいて指定される。この場合、広告開始時点からの相対的な時間差は、アプリケーションの実行時点として指定され、この時点の実行は、広告を伝送する度に変更なしに固定される。しかしながら、受信器は、このような同期化のために、メタデータコンテンツタイムラインＡとメタデータコンテンツタイムラインＢを再構成、維持、及び管理しなければならない。
図２Ａ〜図２Ｄに示すように、メディアタイムラインを受信器で構成するために、サーバは、メディアタイムライン構成のための制御情報を別途のストリームとして伝送すべきである。このプロセスは、別途のＴＳパケットストリームを必要とし、別途のＰＩＤ(Packet IDentifier)は、このストリームに割り当てるべきである。また、サーバは、このような別途のストリームを通じて多様なディスクリプタ(descriptor)を周期的に伝送し、受信器は、このようなディスクリプタを読み取って処理することによってメディアタイムラインを構成しなければならない。また、レギュラーメディアと補助メディアとの間の同期化のために、補助メディア開始時点に対するメディアタイムライン上の値は、補助メディアに付着されたタイムスタンプで伝送され、受信器は、このタイムスタンプをＳＴＣ上の値に変換しなければならないことによって、メディア再生同期を達成できる。
図３は、従来技術によるＤＶＢ標準(ＥＴＳＩ ＴＳ１０２ ８２３Ｖ１.１.１)でのＤＶＢブロードキャストタイムラインによるアプリケーション同期化を示す。
サーバは、ＤＶＢブロードキャストタイムラインを受信器に転送するために、ヘッダーにＰＴＳを包含し、ｂｒｏａｄｃａｓｔ_ｔｉｍｅｌｉｎｅ_ｄｅｓｃｒｉｐｔｏｒをＰＥＳ(Packetized Elementarty Stream)パケットを通じて伝達して情報対(ＤＶＢブロードキャストタイムライン値、ＰＴＳ値)を周期的に伝送する。各プログラムセグメントのタイムラインは、ＤＶＢブロードキャストタイムラインに基づいて決定される。
図３を参照すると、各プログラムセグメントの時間は、必ず０から開始する必要はなく、正規プログラム及び広告のＤＶＢブロードキャストタイムラインが相互に連続される。これは、受信側がＤＶＢブロードキャストタイムライン上の不連続点を検出して広告のみを削除することを防止するためである。アプリケーションが実行される時点である(３)部分に対応するＳＴＣ値は、(３)部分直前、すなわち(１)及び(２)部分に伝送された２対の情報(すなわち、ＤＶＢブロードキャストタイムライン値及びＰＴＳ値)を用いて外挿法(extrapolation)により推定することができる。さらに、受信側は、メディアタイムラインを構成して維持及び管理しなければならないので、送信側は、メディアタイムラインのための制御情報を伝送し、受信器は、この制御情報を周期的に読み取って処理しなければならないという問題があった。
したがって、メディアタイムラインを設定せずにレギュラーメディアと補助メディアとの間の同期化を実行する方法及び装置が要求される。
従って、本発明は、上記した従来技術の問題点に鑑みてなされたものであって、その目的は、メディアタイムラインを構成せずに、レギュラーメディアと補助メディアとの間の同期化を達成する同期化方法及び装置を提供することにある。
また、本発明の他の目的は、受信器によりブロードキャストネットワーク又は通信ネットワークを介して受信された、メディアに関連した補助データをメディアサービスプロバイダにより指定された時点でメディアのコンテンツと同期してメディアメディと共に再生する同期化方法及び装置を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、マルチメディアブロードキャストサービスにおけるデータを同期化する方法が提供される。その方法は、ブロードキャストサービスのための構成情報(ＣＩ)を受信して格納するステップと、構成情報からブロードキャストサービスのために提供される主メディアデータの位置情報を確認し、位置情報に従って主メディアデータを受信するステップと、構成情報に含まれた、主メディアデータに対する補助データを包含する補助メディアデータの位置情報を確認し、位置情報により補助メディアデータを受信して格納するステップと、構成情報に含まれた補助メディアデータの開始情報を確認し、補助メディアデータを開始情報と関連した主メディアデータと同期化して実行するステップとを有する。
本発明の他の態様によれば、マルチメディアブロードキャストサービスにおけるデータを同期化する受信装置が提供される。その受信装置は、ブロードキャストサービスを提供する主メディアデータを受信して復号化するデコーダと、ブロードキャストサービスのためのＣＩを受信して格納する補助メディア情報格納部と、構成情報に含まれた、主メディアデータに関する補助データを含む補助メディアデータの位置情報を確認し、位置情報により補助メディアデータを受信して格納する補助メディアデータキャッシュと、構成情報に含まれた補助メディアデータの開始情報を確認し、補助メディアデータを開始情報に関連した主メディアデータと同期化して実行する実行部とを含む。
また、本発明の他の態様によれば、マルチメディアブロードキャストサービスにおけるデータを同期化する方法が提供される。その方法は、ブロードキャストサービスのために提供される主メディアデータを受信するステップと、主メディアデータに対する補助データを含む補助メディアデータに関する制御情報を受信して格納するステップと、制御情報に含まれた補助メディアデータの位置情報を確認し、位置情報により補助メディアデータを受信して格納するステップと、補助メディアデータの識別子が主メディアデータのヘッダーに含まれる場合に、補助メディアデータの識別子に対応する格納された補助メディアデータを読み取り、ヘッダーに含まれた同期化情報により主メディアデータと同期化して実行するステップとを有する。
さらに、本発明の他の態様によれば、マルチメディアブロードキャストサービスにおけるデータを同期化する受信装置が提供される。その受信装置は、ブロードキャストサービスのために提供される主メディアデータを受信して復号化するデコーダと、主メディアデータに対する補助データを含む補助メディアデータに対する制御情報を受信して格納する補助メディア情報格納部と、制御情報に含まれた補助メディアデータの位置情報を確認し、位置情報に従って補助メディアデータを受信して格納する補助メディアデータキャッシュと、補助メディアデータの識別子が主メディアデータのヘッダーに含まれる場合、補助メディアデータの識別子に対応する格納されている補助メディアデータを読み取り、ヘッダーに含まれた同期化情報により主メディアデータと同期化して実行する実行部とを含む。
本発明は、受信側でメディアタイムラインを構成せずに、簡単な方法を通じてレギュラーメディアと補助メディアとの間の同期化を達成することができる。それによって、本発明は、受信器がメディアタイムラインを構成して維持及び管理しなくてもよく、送信側はメディアタイムラインのための制御情報を伝送しなくてもよく、受信器は、制御情報を周期的に読み取って処理する負担がないという効果を有する。
本発明による実施形態の上記及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
従来技術による部分メディアストリームを示す図である。 従来技術により、ＭＰＥＧ-２ ＤＳＭ-ＣＣ標準におけるメタデータコンテンツタイムラインによるアプリケーションの同期化を示す図である。 従来技術により、ＭＰＥＧ-２ ＤＳＭ-ＣＣ標準におけるメタデータコンテンツタイムラインによるアプリケーションの同期化を示す図である。 従来技術により、ＭＰＥＧ-２ ＤＳＭ-ＣＣ標準におけるメタデータコンテンツタイムラインによるアプリケーションの同期化を示す図である。 従来技術により、ＭＰＥＧ-２ ＤＳＭ-ＣＣ標準におけるメタデータコンテンツタイムラインによるアプリケーションの同期化を示す図である。 従来技術により、ＤＶＢ標準(ＥＴＳＩ ＴＳ１０２ ８２３Ｖ１.１.１)におけるＤＶＢブロードキャストタイムラインによるアプリケーション同期化を示す図である。 本発明の一実施形態による補助アセット同期化のための受信器を示す図である。 本発明の一実施形態による受信器での同期化方法を示すフローチャートである。 本発明の他の実施形態による受信器での同期化方法を示す図である。 本発明の他の実施形態による受信器での同期化方法を示すフローチャートである。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
次の説明において、具体的な構成及び構成要素のような特定詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
次の説明及び請求項に使用する用語及び単語は、辞典的意味に限定されるものではなく、発明者により本発明の理解を明確且つ一貫性があるようにするために使用する。従って、特許請求の範囲とこれと均等なものに基づいて定義されるものであり、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、本発明の技術分野における通常の知識を持つ者には明らかである。
本願明細書に記載の各要素は、文脈中に特に明示しない限り、複数形を含むことは、当業者には理解できるものである。したがって、例えば、コンポーネント表面（a component surface）”との記載は、１つ又は複数の表面を含む。
“実質的に(substantially)”という用語は、提示された特徴、パラメータ、又は値が正確に設定される必要はないが、許容誤差、測定誤り、測定精度限界及び当業者に知られているか、あるいは当業者によって実験なしに得られる要素を含む偏差又は変化が、これら特性が提供しようとする効果を排除しない範囲内で発生することを意味する。
まず、本発明の実施形態の説明に先立って、ここで使用される用語は、次のように定義される。
メディアサービス：オーディオ、ビデオ、イメージ、テキスト、グラフィック、対話形アプリケーションのような多様なメディアのうち一つ以上のメディアを用いて情報を伝送するサービス。
フォアグラウンドメディアサービス：ビデオサービス、オーディオサービス、電子プログラムガイド(ＥＰＧ)サービス、プッシュ型ＶｏＤ(Video on Demand)サービス、ポータブルサービスのように一つの時点で視聴者が選択して楽しむように視聴者に直接提供された有料又は無料メディア商品。
バックグラウンドメディアサービス：ファイルダウンロードのためのカルーセル(carousel)、インターネットを通じる事前ダウンロード(pre-download)のようにフォアグラウンドメディアサービスを補助するが、視聴者に直接提供されないメディア配信サービス。
ビデオサービス：ビデオが主なサービスであって、付随するオーディオを必ず提供し、他の言語のオーディオ、字幕、対話形アプリケーション、その他の付加データが共に提供される。
オーディオサービス：オーディオが主となるサービスであって、これに関連したビデオ又はイメージ、対話形アプリケーション、及びその他の付加データがオーディオと共に提供される。
対話形アプリケーション：ビデオ又はオーディオサービスの消費中に実行され、視聴者に情報を提供し、視聴者の反応を受信してメディアサービスを制御し、あるいはメディアオペレータのサーバに情報を配信するソフトウェアであって、宣言型(declarative)及び手続き型(procedural)言語によるソフトウェアを総称する。このアプリケーションは、視聴中であるビデオ又はオーディオサービスと関連してメディアオペレータにより呼び出され、現在使用されているメディアサービスに関係なくメディアオペレータにより呼び出されることもある。また、受信器キャッシュに既に格納され、視聴者により認知された対話形アプリケーションは、視聴者の要求により呼び出されることもする。
レギュラーメディア：メディアサービスの要件上提供される必要があるメディア。例えば、オーディオサービスのオーディオ又はオーディオにより伴うビデオサービスのビデオとオーディオ。
補助メディア：メディアサービスの要件上提供される必要はないが、必要に応じて提供されるメディア。例えば、このメディアは、Ｗｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージ、補助メディア構成要素などを含む。補助メディアは、常にレギュラーメディアと共に消費され、単独で消費することができない。
メディア構成要素：メディアを構成する要素。例えば、立体ビデオの場合、左眼視点画像と右眼視点画像がメディア構成要素である。他の例として、５.１チャンネルオーディオの場合、各チャンネルオーディオがメディア構成要素であり得る。
補助メディア構成要素：独立的に一つのメディアを構成せず、他のメディア構成要素と一緒にメディアを構成するメディア構成要素。例えば、２Ｄ(Dimensional)/３Ｄ時間混合型サービスで左眼及び右眼視点の画像のうち、左眼視点画像が常に２Ｄ画像として提供される状況で、立体ビデオ区間でのみ提供される右眼視点画像は補助メディア構成要素である。
アセット：メディア構成要素に対する符号化データ。ここで、符号化は、圧縮符号化、標準フォーマットに対する符号化を称する。
レギュラーアセット(regular asset)：レギュラーメディアのメディア構成要素に対する符号化データ。ここで、符号化は、圧縮符号化、標準フォーマット向けの符号化を意味する。
副アセット(adjunct asset)：補助メディアのメディア構成要素又は補助メディア構成要素に対する符号化データ。ここで、符号化は、圧縮符号化、標準フォーマット向けの符号化を意味する。
プログラム：メディアサービスのインスタンス(instance)(すなわち、一つのブロードキャストチャンネルの全体コンテンツ)
プログラムアイテム：プログラムのうち時区間集合のコンテンツ。例えば、１本の映画内に開始広告、中間広告、及び最後広告が混合方式で転送される場合、プログラムアイテムは、広告を含む映画の時区間のコンテンツである。ここで、各広告は、個別的なプログラムアイテムであるが、他のプログラムアイテムに含まれた内蔵型(embedded)プログラムアイテムである。プログラムは、内蔵型を除いたプログラムアイテムをタイムライン上で連結した結果である。
パッケージ：プログラムアイテムに対する符号化データ。これは、アセットと、このアセットに対する伝送、復号化、再生などに関連した制御情報を含む。
主アセット(primary asset)：レギュラーアセットのうち補助アセットに関する同期化情報が含まれるレギュラーアセット。例えば、主アセットは、ビデオストリームのＭユニットの付加情報(attached information)として補助アセットの同期化及び制御情報を含むことができる。
付加情報：アセットに関する制御情報、記述(description)情報のような追加情報。この付加情報は、論理的用語であって、伝送階層における複数階層のヘッダー内に含まれ、この場合にはヘッダー情報と呼ばれる。
ストリームアセット：ビデオストリーム、オーディオストリームのように時間的に無限に生成できるメディア圧縮データ形態のアセット
非ストリームアセット：ストリームアセットに該当しないアセット
Ｍユニット：アセットのサブ要素。ＭＭＴ ＭＰＵとも称される。ストリームアセットのＭユニットは、一度にメディアデコーダに入力される最小データ単位であって、その復号化結果は、メディアによる時点又は時区間で示される。例えば、ビデオストリームの場合、一つのフレームを圧縮した結果は一つのＭユニットであり、オーディオストリームの場合に、２４ｍｓ間のオーディオサンプルの圧縮結果は一つのＭユニットであり得る。
以下、添付の図面を参照して、本発明の実施形態による同期化方法について説明する。
レギュラーアセットと副アセットとの同期化を制御するためには、次のような事項を考慮しなければならない。
副アセットの開始時点を主アセットのライムライン上の所望する時点と同期化するために、この同期化は、フレーム単位で実行しなければならない。同期化は、主アセットがビデオである場合にはビデオフレーム単位で実行される。主アセットがオーディオである場合には、オーディオフレーム単位で精密に同期化が実行される。この同期化を達成するメカニズムは、できるだけ効率の良いことが必要である。例えば、同期化のために転送されなければならないシグナリング情報の構成は可能な限り簡単であり、そのデータ量は最大限少ない必要がある。主アセットに同期化できる副アセットは、Ｗｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージのような非ストリーム型の補助メディア構成要素だけでなく、ストリーム型の補助メディア構成要素も含まれなければならない。また、受信器は、Ｗｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージ、補助メディア構成要素のような副アセットタイプを確認できる。副アセットは、ブロードキャスト事業者により指定された時点、受信器で副アセットのダウンロードが完了した時点、視聴者により選択された時点、及び他の副アセットから呼び出された時点のうち一つ以上でも実行されるべきである。副アセット識別子は、副アセットの実行に必要な所定期間で副アセットがグローバルに固有に識別されるように割り当てられなければならない。副アセットが読み取られる位置としては、同一のブロードキャスト事業者により提供されるブロードキャストチャンネル内のカルーセル又はインターネットＵＲＬ(Uniform Resource Locator)が指定されることが必要である。副アセットがいくつかのファイルを含む場合、開始ファイル(例えば、Ｗｅｂ文書の開始ページ）は、指定する必要がある。副アセットを読み取る位置が指定される場合、効率的な表示方法を使用すべきである。副アセットがメディアサービスに縛られて(bound)いるか否かを受信器に通知する。一つのメディアサービスに縛られる副アセットは、該当メディアサービスの終了時に自動で終了する。副アセットの実行が安全であるか否かを受信器に通知すべきである。このために、ブロードキャスト事業者が直接製作し、あるいは副アセットの実行が安全であるか否かを決定し、副アセットが安全であることを受信器に通知する。数個の副アセットが同時に実行される場合、副アセット間の優先順位は、受信器に通知される。副アセット記述情報の構成は、以前システムと互換的に拡張可能にする必要がある。例えば、副アセット記述情報は、後続するディスクリプタが以前システムをサポートする受信器の誤動作なしに追加構成を有することが必要である。
以下、次の要求事項を満たすための同期化方法の実施形態について説明する。
後述する図４〜図７及び、本発明の原理を説明するために使用される多様な実施形態は、単にその実施例を示すものに過ぎず、本発明の範囲を限定するものとして捉えてはならない。本発明の原理が適切に配列された通信システムで実現できることは、当該技術分野で通常の知識を有する者には明らかである。これらは、但し発明の理解を助けるために提供されるもので、それらの使用と定義が本発明の範囲を限定しないことは理解されなければならない。‘第１’、‘第２’のように序数は同一の用語を有するオブジェクト間の区別のために使用され、別に明確に記述されていない限り、発生順序を示すことではない。セットは少なくとも一つの要素を含む、空いていないセットに定義される。
図４は、本発明の実施形態による副アセット同期化のための受信器を示す。
図４を参照すると、受信器は、インターネットファイルダウンローダ４０１、カルーセルハンドラ４０３、ＡＡＴ(Adjunct Asset Table)パーサ４０５、主アセットデコーダ４０７、副アセットキャッシュ４０９、副アセット情報格納部４１１、副アセットハンドラ４１３、コンポジタ４１５、レンダラ４１７、及びディスプレイ部４１９を含む。
すべての副アセットに関する記述情報は、制御情報として、主アセットと別に制御情報ストリームとして受信側に伝送される。この制御情報ストリームは、ＡＡＴを含む。ＡＡＴパーサ４０５は、ブロードキャストネットワークから受信された制御情報ストリームからＡＡＴをパーシングして副アセット情報格納部４１１に格納する。ＡＡＴは、各副アセット別に識別子(ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄ)、タイプ(ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｔｙｐｅ)、実行属性(ｅｘｅｃｕｔｉｏｎ_ａｔｔｒｉｂｕｔｅ)、受信可能な受信器の能力(ｈａｎｄｌｅｒ_ｃａｐａｂｉｌｉｔｙ)、副アセット位置(ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒ)、要求される格納空間(ｒｅｑｕｉｒｅｄ_ｓｔｏｒａｇｅ)、有効期限(ｅｘｐｉｒａｔｉｏｎ)、ディスプレイ上の位置(ｄｉｓｐｌａｙ_ｐｏｓｉｔｉｏｎ)のような情報を含む。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄは、副アセットを識別するための識別子であって、グローバルに又はメディアサービス内で固有に副アセットを定義することができる。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒは、副アセットに該当するリソースデータが読み取られる位置を指定する。同一のソースデータが複数の位置から読み取られる場合、ＡＡＴは、一つの副アセットに対して複数のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを含むことができる。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒにより指定される位置の例としては、様々なカルーセル(すなわち、ＤＳＭ-ＣＣ(Digital Storage Media-Commandand and Control)データカルーセル、ＤＳＭ-ＣＣオブジェクトカルーセル、ＦＬＵＴＥ(File Delivery Over Unidirectional Transport)）、インターネットＵＲＬ(Uniform Resource Locator)であり得る。図４において、インターネットファイルダウンローダ４０１は、副アセット情報格納部４１１に格納されたａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを参照してインターネットＵＲＬから副アセットファイルをダウンロードする。カルーセルハンドラ４０３は、副アセット情報格納部４１１に格納されたａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを参照してブロードキャストネットワークのオブジェクトカルーセルを通じて副アセットをダウンロードする。ダウンロードされた副アセットは、キャッシュ内部ファイル経路が指定された後に副アセットキャッシュ４０９に格納され、このように指定されたキャッシュ内部ファイル経路は、副アセット情報格納部４１１のｆｉｌｅ_ｐａｔｈ_ｉｎ_ｃａｃｈｅフィールドに格納される。
副アセットをレギュラーアセットと同期化するために、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄは、主アセットのＭユニットヘッダーに挿入される。ＭユニットヘッダーはＰＴＳ(Presentation Timestamp)を含むため、Ｍユニットヘッダーに含まれたＰＴＳは、別途の計算なしに、Ｍユニットヘッダーに含まれたａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄにより識別される副アセットの実行時点を示すＰＴＳとして使用される。ビデオＭユニットがフレーム、スライス、又は同一のフレームからのスライスを有するので、主アセットがビデオである場合、この同期化方法は、ビデオフレーム単位の同期化を可能にする。オーディオフレームが２４ｍｓの長さを有すると、オーディオが主アセットである場合、すなわちａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄがオーディオＭユニットヘッダーに挿入される場合、この方法は、２４ｍｓ単位の同期化を達成できる。一つ以上の副アセットが同時に実行される必要がある場合、同一のＭユニットヘッダーは、副アセットの個数と同一な複数のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄを含む。Ｍユニットヘッダーは、実行中である副アセットを制御するためのａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｎｔｒｏｌフィールドを含む。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｎｔｒｏｌは、副アセットを実行し、あるいは副アセットの実行を中断するための命令を伝達できる。
受信器がリアルタイムでブロードキャストネットワークを介して主アセットストリームを受信する場合、主アセットデコーダ４０７は、ユニットヘッダーがａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄを含むか否かを判定し、実行するか否かを判定した後に、副アセット情報格納部４１１で一致するａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄを検索して該当副アセットの情報を参照する。この副アセットを実行することが必要である場合、コンポジタ４１５は、副アセットハンドラ４１３を通じて副アセットキャッシュ４０９から該当副アセットを読み取って復号化又は説明して処理し、その結果をＭユニットヘッダーで指定されたＰＴＳで主メディアと同期化し、副アセット情報格納部４１１から指定されたディスプレイの位置に副アセットをコンポジションした後にレンダラ４１７によりレンダリングし、ディスプレイ部４１９を通じてレンダリング結果を表示する。コンポジタ４１７により主アセットと副アセットとの同期化は、同一のｐｒｅｓｅｎｔａｔｉｏｎ_ｔｉｍｅｓｔａｍｐにより達成される。
同期化情報が伝送誤りにより伝送されない場合、該当副アセットは実行できない。したがって、伝送誤りにも関わらず、副アセットを実行し、あるいはその実行確率を増加させるために、同一のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄは、複数の主アセットＭユニットヘッダーに含まれる。例えば、４〜５個の隣接した主アセットＭユニットのヘッダーに副アセットに対する命令“実行(run)”又は“中断(kill)”を反復的に挿入することによって実行確率を向上させる。この場合、最初にａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄが挿入された時点が意図した実行時点であると、伝送誤りにより実行時点が遅延される。副アセットが対話形アプリケーションである場合、このような実行遅延は、視聴者の経験品質(ＱｏＥ)にほとんど影響を及ぼさない。
副アセットが立体ビデオのための部分メディアストリームである場合、フレーム単位の正確な同期化が要求されるので、上記のような方法は使用できない。この場合、ｓｙｎｃ_ｃｏｕｏｎｔは、Ｍユニットヘッダーに挿入されて同期化時点までカウントダウンする。例えば、４個の連続する主アセットＭユニットヘッダーにｓｙｎｃ_ｃｏｕｎｔを‘３’，‘２’，‘１’，‘０’の順に配信することによって、受信器は、正確な同期化時点を認知できる。ｓｙｎｃ_ｃｏｕｎｔが‘０’である時点が意図した同期化時点である場合、伝送誤りによるｓｙｎｃ_ｃｏｕｎｔが２であるＭユニットヘッダーのみが受信され、他のｓｙｎｃ_ｃｏｕｎｔを含むＭユニットヘッダーが受信されない。以後、現在Ｍユニット以後の第２のＭユニットのＰＴＳは、該当副アセットの実行時点である。ビデオＭユニットにこの方法を適用するために、ｓｙｎｃ_ｃｏｕｎｔは、フレームの最初のスライスを含むＭユニットのみに挿入され、あるいは同一のｓｙｎｃ_ｃｏｕｎｔは、同一のフレームに属するスライスから獲得したＭユニットに挿入される。受信器は、ｓｙｎｃ_ｃｏｕｎｔに該当するフレーム以後のフレームのＰＴＳを副アセットの実行時点として認識する。
次に、本発明の実施形態によるＡＡＴについて説明する。
ＡＡＴの構文(syntax)は、以下の＜表１＞に示すようである。‘ｆｏｒｍａｔ’列のコンテンツ定義は、ＭＰＥＧ-２システム標準(ＩＳＯ /ＩＥＣ １３８１８-１：２００７)に従う。＜表１＞の‘ｖａｌｕｅ’列に表示されないループカウントは、長さを表す値から誘導される値である。ここで、他の表にも同一の原則が適用される。
＜表１＞において、各フィールドは、次のような意味を有する。
ｔａｂｌｅ_ｉｄ：表のタイプを示す識別子。ＡＡＴに該当する固有値を割り当てる。
ｖｅｒｓｉｏｎ_ｉｄ：ＡＡＴの構成を示す識別子。表の構成が標準の修正により変更される場合、このフィールドの値も変更される。受信器は、このフィールドの値を調べ、この表が理解できるか否かを判定する。
ｓｕｂ_ｔａｂｌｅ_ｉｄ：表がいくつかのサブ表に分けられて伝送する場合、このフィールドは、各サブ表を識別する。
ｕｐｄａｔｅ_ｖｅｒｓｉｏｎ：ＡＡＴは周期的に伝送されるので、ＡＡＴのコンテンツが直前に伝送された同一のｓｕｂ_ｔａｂｌｅ_ｉｄを有するＡＡＴと異なる場合、このフィールドの値は増加される。最大値‘１５’以後に、この値は‘０’に変わる。受信器は、このフィールドの値が変わる場合、ＡＡＴのコンテンツを再び読み取ってパーシングする。
ｔａｂｌｅ_ｌｅｎｇｔｈ：次のフィールドからＡＡＴの最後バイトまでのバイト数。‘０’の値は使用されない。
ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ_ｃｏｕｎｔ：次のｌｏｃａｔｏｒ_ｐｒｅｆｉｘ文字列の個数。ｌｏｃａｔｏｒ_ｐｒｅｆｉｘは、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒで提供されるｌｏｃａｔｏｒ文字列の前に最後に‘/'を追加して連結されることによって、ＵＲＬを形成する。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒでは、ｌｏｃａｔｏｒ_ｐｒｅｆｉｘは、その登場順序をインデックスとして使用して参照する。この‘０ｘＦＦ’値は、フィールド向けに使用されない。したがって、最大２５５個のｌｏｃａｔｏｒ_ｐｒｅｆｉｘは含まれない。
ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ_ｌｅｎｇｔｈ：ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ文字列の長さ
ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ_ｂｙｔｅ：ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ文字列のバイト。最後のヌル(null)バイトは、このｌｏｃａｔｏｒ_ｐｒｅｆｉｘ文字列に含まれない。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｔｙｐｅ：副アセットのタイプ。例えば、固有値は、Ｗｅｂ文書、ウィジェット、対話形アプリケーション、オーディオクリップ、ビデオクリップ、グラフィック、テキスト、イメージ、補助メディア構成要素のように、各タイプに割り当てられる。このａｄｊｕｎｃｔ_ａｓｓｅｔ_ｔｙｐｅの値は、次の構文ループ内の副アセットに同一に適用される。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｕｎｔ_ｍｉｎｕｓ１：次の構文ループ内に説明された副アセットの数より一つ小さい値。この値は、最大２５６個の副アセットを表示できる。同一のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｔｙｐｅを有する副アセットの個数が２５６を超える場合、これら副アセットは、２個以上の構文ループを用いて記述される。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄ：副アセットを識別する４８ビットのグローバルな固有識別子。この固有性(uniqueness)は、所定時間でのみ維持され、所定時間以後には識別子は、再使用が可能である。グローバルな識別子になるために、このフィールドは、３２ビットのｐｒｏｖｉｄｅｒ_ｉｄｅｎｔｉｆｉｅｒと１６ビットのａｓｓｅｔ_ｉｄｅｎｔｉｆｉｅｒの２部分に分類される。 ｐｒｏｖｉｄｅｒ_ｉｄｅｎｔｉｆｉｅｒは登録機関により指定されて各プロバイダに登録され、ａｓｓｅｔ_ｉｄｅｎｔｉｆｉｅｒは各プロバイダにより管理される。
ｅｘｅｃｕｔｉｏｎ_ａｔｔｒｉｂｕｔｅ：このフィールドは、副アセットを受信すると、受信器が副アセットを実行する方法を示し、次のフィールドを含む。
ｅｘｅｃｕｔｉｏｎ_ｏｎ_ｒｅｃｅｐｔｉｏｎ：受信器により受信された副アセットを副アセットキャッシュに格納した後に“直ちに実行”するか否かを示すフラグ。副アセットが直ちに実行されない場合に、ユーザーの選択又は他の副アセットからの呼び出しの際に、本発明の実施形態で提案する同期化方法により指定される時点で実行がなされ得る。このフラグが‘１’である場合、ｅｘｅｃｕｔｉｏｎ_ｅｎｔｒｙ_ｐｏｉｎｔは、‘１’に設定される。
ｍｅｄｉａ_ｓｅｒｖｉｃｅ_ｂｏｕｎｄ：副アセットがｍｅｄｉａ_ｓｅｒｖｉｃｅ_ｂｏｕｎｄであるか否かを示すフラグ。このフラグが‘１’である場合、副アセットがメディアサービスに縛られることを示し、副アセットは、ブロードキャストチャンネルの変更が発生される場合に自動で終了する。
ｅｘｅｃｕｔｉｏｎ_ｅｎｔｒｙ_ｐｏｉｎｔ：副アセットが直接実行されることを示すフラグ。このフラグが‘０’である場合、副アセットは、他の副アセットにより間接的に実行される。
ｖｉｓｉｂｌｅ_ｔｏ_ｕｓｅｒ：ユーザーが副アセットナビゲーション機能を用いて副アセットを選択的に実行できるか否か、あるいは他の副アセットが受信器により提供されるＡＰＩ(Application Programming Interface)を介して副アセットリストを検索する場合に副アセットが見えるか否かを示す２ビットフィールド。ｖｉｓｉｂｌｅ_ｔｏ_ｕｓｅｒの意味は、以下の＜表２＞及び＜表３＞に示すようである。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｐｒｉｏｒｉｔｙ：副アセットの実行優先順位を表すフィールド。ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｐｒｉｏｒｉｔｙの高い値は、より高い優先順位を意味する。副アセットを実行するための受信器のリソースが不足した場合、現在実行中である副アセットのうち最低優先順位を有する副アセットは、まず中止又は終了する。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒ_ｃｏｕｎｔ_ｍｉｎｕｓ１：副アセットを読み取る位置の数より一つ小さい値。最大４個の位置は、２ビットを用いて提供され得る。２個以上の位置が提供される場合、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒの登場順序は優先順位である。一つ以上のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒが登場する。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒ：構文要素グループは、副アセットが読み取られる位置の情報を提供する。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｄｅｓｃｒｉｐｔｏｒｓ_ｌｅｎｇｔｈ：このフィールドは、以後のディスクリプタ構文ループの次のバイトから最後バイトまでの範囲でバイト数を提供する。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｄｅｓｃｒｉｐｔｏｒ：多様なディスクリプタは、このディスクリプタ構文ループに含まれる。
Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｏｄｅ(ＣＲＣ)_３２：ＭＰＥＧ-２システム標準(ＩＳＯ/ＩＥＣ １３８１８-１:２００７)のセクション構文で定義したＣＲＣ_３２と同一のフィールドである。
以下、副アセット位置情報(ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒ)について詳細に説明する。
リソースデータ位置情報であるａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒは、副アセットが読み取られる位置を示す。副アセットは、ブロードキャストネットワークのカルーセルを通じて転送され、あるいはインターネットを介してダウンロードされる。ＡＡＴは、各副アセットごとに一つ以上のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを含まれなければならない。受信器は、最初に登場するａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒにより指定される位置から副アセットを読み取り、誤りが発生する場合には、受信器は、次のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒにより指定される位置から副アセットを読み取る。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒの構文は、以下の＜表４＞のように示す。＜表４＞は、インターネットの場合のみを含み、カルーセルの場合に、構文は、カルーセルにより変わることができる。したがって、本明細書の目的のために、詳細は、＜表４＞に含まれない。
＜表４＞の各フィールドの意味は、以下に提供される。
ｌｏｃａｔｏｒ_ｔｙｐｅ：副アセットが読み取られる位置がインターネットであるか、あるいはブロードキャストネットワークのカルーセルであるかを示し、位置がカルーセルであり、多様なタイプのカルーセルが一緒に使用される場合のカルーセルタイプを示す８ビットフィールドである。
ｌｏｃａｔｏｒ_ｐｒｅｆｉｘ_ｉｎｄｅｘ：＜表１＞のｌｏｃａｔｏｒ_ｐｒｅｆｉｘのうち一つを指定するインデックス。このフィールドの値が“０ｘＦＦ”である場合、これは、ｌｏｃａｔｏｒ_ｐｒｅｆｉｘが使用されないことを意味する。
ｄｉｒｅｃｔｏｒｙ_ｐａｔｈ_ｌｅｎｇｔｈ：次のディレクトリ経路の長さ。文字列の最後のヌルバイトは含まれない。このフィールドの値が‘０’である場合、ディレクトリ経路は使用されない。
ｄｉｒｅｃｔｏｒｙ_ｐａｔｈ_ｂｙｔｅ：ディレクトリ経路のバイト。文字列の最後のヌルバイトは含まれない。
ｅｎｔｒｙ_ｐａｔｈ_ｌｅｎｇｔｈ：次の最初ページファイル経路の長さ。文字列の最後のヌルバイトは含まれない。このフィールドは、副アセットがＷｅｂページのような複数のファイルを含む場合にのみ意味を有する。副アセットが単一ファイルである場合、このフィールドは‘０’の値を有する。
ｅｎｔｒｙ_ｐａｔｈ_ｂｙｔｅ：最初のページファイル経路のバイト。文字列の最後ヌルバイトは使用されない。
ｏｂｊｅｃｔ_ｃｏｕｎｔ：次のファイル経路の数。このフィールドが‘０’の値を有する場合、ディレクトリ全体が指定される。
ｏｂｊｅｃｔ_ｐａｔｈ_ｌｅｎｇｔｈ：次のファイル経路の文字列の長さ。文字列の最後ヌルバイトは含まれない。
ｏｂｊｅｃｔ_ｐａｔｈ_ｂｙｔｅ：ファイル経路のバイト。文字列の最後ヌルバイトは含まれない。
例えば、インターネット副アセット位置情報を用いるＵＲＬ構成は、次のように説明される。この実施形態の副アセットは、複数のファイルを含むＷｅｂページである。
＜表１＞のｌｏｃａｔｏｒ_ｐｒｅｆｉｘは“http://www．example．com”であり、ディレクトリ経路は“ｉｎｔｅｒａｃｔｉｖｅ_ａｐｐｌｉｃａｔｉｏｎｓ/ａｐｐ０００１”であり、エントリ経路は“index.htm”であり、ｏｂｊｅｃｔ_ｃｏｕｎｔは‘０’の値を有する場合、副アセットのすべてのリソースは、“www.example.com/interactive_applications/app0001”のディレクトリ内に存在し、最初ページのＵＲＬは、“http://www.example.com/interactive_applications/app0001/index.htm”である。
以後、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｄｅｓｃｒｉｐｔｏｒについて説明する。＜表１＞のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｄｅｓｃｒｉｐｔｏｒは、多様なディスクリプタを含むことができる。副アセットを処理可能な受信器の能力を表すｈａｎｄｌｅｒ_ｃａｐａｂｉｌｉｔｙ_ｄｅｓｃｒｉｐｔｏｒ()、副アセットキャッシュ管理のためのメモリ量、有効期限などを表すａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃａｃｈｅ_ｄｅｓｃｒｉｐｔｏｒ()、副アセットが画面に表示されるディスプレイ上の位置を表すｄｉｓｐｌａｙ_ｐｏｓｉｔｉｏｎ_ｄｅｓｃｒｉｐｔｏｒ()、ユーザーに表示される副アセットの名称を提供するａｄｊｕｎｃｔ_ａｓｓｅｔ_ｎａｍｅ_ｄｅｓｃｒｉｐｔｏｒ()、ユーザーに表示される副アセットのアイコンの提供を示すａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｃｏｎ_ｄｅｓｃｒｉｐｔｏｒ()は、上記ディスクリプタであり得る。これらディスクリプタは、主アセットと副アセットとの同期化には関係なく、本発明の目的のために、ここで、ディスクリプタの構文及びその意味は提供されない。
以後、Ｍユニットヘッダーの副アセット同期化情報について説明する。ＭＭＴで定義されるＭユニットヘッダーの他のフィールドは省略され、ここで提案される技術に関連して追加される必要があるフィールド、すなわちａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｆｏを中心として、Ｍユニットヘッダーの構文及び各フィールドの意味について説明する。Ｍユニットヘッダーの構文は、以下の＜表５＞に示すようである。
＜表５＞の各フィールドは、以下のような意味を有する。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｕｎｔ：このフィールドの値が‘０’より大きい場合、Ｍユニットと同期される副アセットがあることを意味する。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄ：このＭユニットと同期される副アセットの識別子。このフィールドのフォーマットは、上記の＜表１＞で規定するようである。
ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｎｔｒｏｌ：副アセットに適用される制御のタイプを示すフィールド。
その値の意味は、以下の＜表６＞に示すようである。
ｓｙｎｃ_ｃｏｕｎｔ：伝送誤りに対する耐性を高めるために、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｎｆｏが複数のＭユニットのヘッダーに連続して挿入される場合に同期化時点を示すフィールド。このフィールドは、‘０’から‘１５’までの値を有する。このフィールドの値として‘０’を有するＭユニットは、副アセットが同期化される時点である。例えば、フィールド値‘０’を有するＭユニットに含まれるｐｒｅｓｅｎｔａｔｉｏｎ_ｔｉｍｅｓｔａｍｐは、副アセットの制御の実行時間である。このフィールドを用いて伝送誤りによる遅延なしに同期化を正確に達成するために、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｎｆｏの挿入は同期化時点前から開始し、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｎｆｏは、ｓｙｎｃ_ｃｏｕｎｔが‘１５’以下の選択された正の値から一つずつ減少させて‘０’になるまで連続してＭユニットヘッダーに反復的に挿入される。伝送誤りによりいくらかの遅延が発生する場合、ａｄｊｕｎｃｔ_ａｓｓｅｔ_ｓｙｎｃ_ｉｎｆｏは、 ｓｙｎｃ_ｃｏｕｎｔを‘０’に維持したまま、連続してＭユニットヘッダーに反復的に挿入される。副アセットに対して同一のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｃｏｎｔｒｏｌ値に対してｓｙｎｃ_ｃｏｕｎｔ値が‘０’を有するＭユニットを反復して受信する場合、最初に受信した制御命令は実行し、以後に受信する命令は無視する。
図５は、本発明の実施形態による受信器における同期化方法を示すフローチャートである。
図５を参照すると、ステップ５０１において、受信器は、ブロードキャストネットワークを介して送信側から主アセットストリームを受信し、主アセットストリームとは別途にＡＡＴを含む制御情報を受信し、ＡＡＴをパーシングして副アセット情報格納部に格納する。ステップ５０３において、受信器は、格納されているＡＡＴからａｄｊｕｎｃｔ_ａｓｓｅｔ_ｌｏｃａｔｏｒを決定してその値に従ってインターネットＵＲＬ又はブロードキャストネットワークのオブジェクトカルーセルを通じて副アセットファイルをダウンロードし、この副アセットファイルを副アセットキャッシュに格納する。ステップ５０５において、受信器は、主アセットストリームのＭユニットヘッダー内のａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄとＰＴＳを決定する。すると、受信器は、副アセット情報格納部でａｄｊｕｎｃｔ_ａｓｓｅｔ_ｉｄと一致する副アセットに関する情報を検索して副アセットキャッシュから該当副アセットを読み取る。その後、ステップ５０７において、受信器は、ＰＴＳにより指示される時点で主アセットと同期して副アセットを実行する。
以下、本発明の他の実施形態によるメディアデータ同期化方法について説明する。
本発明の他の実施形態では、‘M24227，Proposed text of Working Draft for MPEG Media Transport，Geneva，Switzerland，April 2012’に定義されているＭＰＵヘッダーのＭＰＵ_Ｉｄｅｎｔｉｆｉｅｒ(ＭＭＴ処理ユニット識別子)が使用される。Ｍ２４２２７文書によれば、ＭＰＵ_Ｉｄｅｎｔｉｆｉｅｒは、ランダムアクセスポイント(ＲＡＰ)フラグとｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒを含む。ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒは、一つのＭＭＴアセット内の固有値であり、ＭＰＵごとに１ずつ増加する。したがって、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒは、異なるアセットが同期化される特定時点を指定するために使用できる。ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒの固有性の範囲は必要に応じて調整可能であり、例えば、この固有性は、１日で維持することができる。固有性の範囲を満たすために、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒの長さは変更が可能である。副アセット同期化のためにｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒを使用する他の利点は、誤りに対する回復力及び同期化時点の予測である。ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒはＭＰＵごとに１ずつ増加するので、受信器は、ＭＰＵの損失にもかかわらず、適合した時点を探して副アセットの同期化を行う。さらに、受信器が副アセットの同期化以前に事前準備の必要性による同期化時点を予測する必要がある場合、現在のｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒを用いて同期化時点を容易に予測できる。ＭＰＥＧのＭ２４２２７文書には、コンテンツの情報、時空間的配置及び同期に使用されるＣＩがある。ＣＩにおいて、“ｂｅｇｉｎ”属性は、アセット同期化に使用される。本発明の一実施形態では、“ｂｅｇｉｎ”属性に“ＭＰＵ-Ｓｅｑｕｅｎｃｅ-Ｎｕｍｂｅｒ-Ｖａｌｕｅ”の追加を提案する。
ＭＰＵ-Ｓｅｑｕｅｎｃｅ-Ｎｕｍｂｅｒ-Ｖａｌｕｅは、下記のように定義される。
ＭＰＵ-Ｓｅｑｕｅｎｃｅ-Ｎｕｍｂｅｒ-ｖａｌｕｅ::＝Ｉｄ_ｖａｌｕｅ“．ＭＰＵ(“ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒ”)”[“＋”|“-”ｆｒａｍｅ_ｏｆｆｓｅｔ “ｆｒａ”]
上記した定義で使用される用語は、下記に提供されるように定義される。
Ｉｄ_ｖａｌｕｅ：副アセットが同期化される主アセットのＸＭＬ(Extensible Markup Language)識別子
Ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒ：同期化時点情報を含むＭＰＵのシーケンス番号
Ｆｒａｍｅ_ｏｆｆｓｅｔ：このフィールドは、同期化する主アセットと副アセットが両方ともビデオ又はオーディオである場合に使用される。オーディオフレームの場合、フレーム内の第１のサンプルの再生時点は、同期化基準時点である。したがって、ビデオの場合、フレーム単位で正確な同期が可能である。しかしながら、オーディオの場合には、オーディオフレームの１/２まで誤りがあり得る。ｍｐｕ-ｓｅｑｕｅｎｃｅ-ｎｕｍｂｅｒから相対値は、同期化時点を示すために適用される。‘＋５’は、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒにより指示されるＭＰＵ内のディスプレイ順序で第１のフレームから５番目のフレーム(すなわち、ＭＰＵ内のディスプレイ順序で第６のフレーム)と同期化が実行されることが必要であることを意味する。‘−１０’は、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒにより指示されるＭＰＵ内のディスプレイ順序で第１のフレームと同期化される副アセット内のフレームが、第１のフレームから１０番目のフレーム(すなわち、副アセットのディスプレイ順序で第１１のフレーム)であることを意味する。
本発明の実施形態はＣＩに適用され、次の実施形態で使用される。
主アセットが第１のアセットで、そのＸＭＬ ｉｄがａｓｓｅｔ１_ｉｄで、副アセットが第２のアセットで、ＣＩで第２のアセットのｂｅｇｉｎ属性がｂｅｇｉｎ＝“ａｓｓｅｔ１_ｉｄ．ＭＰＵ（１２３）＋５ｆｒａ”である場合、ａｓｓｅｔ２は、ａｓｓｅｔ１のＭＰＵのうちｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒ＝１２３を有するＭＰＵ内の６番目のフレームでａｓｓｅｔ１と同期化される必要があることを意味する。
このような同期化方法の実施形態によると、主アセットと副アセットは、主アセットのヘッダーとＣＩの主アセットに対する説明を変更せずに同期化できる。
図６は、本発明の他の実施形態による受信器の同期化方法を示す。
図６を参照すると、ＣＩは、ＬｏＡ(List of Assets)とＳＴＩＡ(Spatial and Temporal Information of MMT Assets)を含む。ＬｏＡは、パッケージ内に含まれたアセットのリストと各アセットのＩＤを含む。図６において、ａｓｓｅｔ１_ｉｄは、主アセット、例えばビデオデータであり、ａｓｓｅｔ２_ｉｄは副アセット、例えばイメージデータである。ＳＴＩＡは、各アセットに対する記述を含む。図６において、ａｓｓｅｔ１_ｉｄの“ｂｅｇｉｎ”属性値は‘０’であり、ａｓｓｅｔ２_ｉｄのｂｅｇｉｎ属性値は“ａｓｓｅｔ１_ｉｄ．ＭＰＵ(１２３)”である。
受信器がデータを同期化する場合、受信器は、ＣＩに含まれた副アセットの説明を決定し、ｂｅｇｉｎ属性を通じて該当副アセットを主アセットと同期化する方法を決定する。図６では、ａｓｓｅｔ１_ｉｄ及びａｓｓｅｔ２_ｉｄは、ａｓｓｅｔ１_ｉｄのＭＰＵのうち、ｍｐｕ_ｓｅｑｕｅｎｃｅ_ｎｕｍｂｅｒ＝１２３を有するＭＰＵの開始時点で同期化する。
図７は、本発明の他の実施形態による受信器の同期化方法を示すフローチャートである。
図７を参照すると、受信器は、ステップ７０１で、送信側からＣＩを受信して副アセット情報格納部に格納する。受信器は、ステップ７０３で、格納されているＣＩから主アセットの位置を決定して主アセットストリームを受信する。ステップ７０５において、受信器は、ＣＩから副アセットの位置を決定し、副アセットファイルをダウンロードして格納する。ステップ７０７において、受信器は、ＣＩでダウンロードされた副アセットに対する説明を決定し、この説明内のｂｅｇｉｎ属性を通じて副アセットの開始位置を決定する。ステップ７０９において、受信器は、副アセット情報格納部から当該副アセットを読み取り、ｂｅｇｉｎ属性により指示される主アセットの位置、すなわちＭＰＵシーケンス番号と同期して副アセットを実行する。
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。
１１０ レギュラーアセット
１１１ 正規プログラム
１１３ 広告
１１５ 正規プログラム
１２０ 補助アセット
１２１ 広告
４０１ インターネットファイルダウンローダ
４０３ カルーセルハンドラ
４０５ ＡＡＴパーサ
４０７ 主アセットデコーダ
４０９ 副アセットキャッシュ
４１１ 副アセット情報格納部
４１３ 副アセットハンドラ
４１５ コンポジタ
４１７ レンダラ
４１９ ディスプレイ

Claims (18)

  1. マルチメディアブロードキャストサービスにおけるデータを同期化する方法であって、
    ブロードキャストサービスのための構成情報(ＣＩ)を受信して格納するステップと、
    前記構成情報から前記ブロードキャストサービスのために提供される主メディアデータの位置情報を確認し、前記位置情報に従って前記主メディアデータを受信するステップと、
    前記構成情報に含まれた、前記主メディアデータに対する補助データを包含する補助メディアデータの位置情報を確認し、前記位置情報により前記補助メディアデータを受信して格納するステップと、
    前記構成情報に含まれた前記補助メディアデータの開始情報を確認し、前記補助メディアデータを前記開始情報と関連した前記主メディアデータと同期化して実行するステップと、
    を有することを特徴とする方法。
  2. 前記開始情報は、
    前記補助メディアデータと同期化される前記主メディアデータの識別子と、
    前記補助メディアデータと同期化される前記主メディアデータのシーケンス番号と
    を含むことを特徴とする請求項１に記載の方法。
  3. 前記開始情報は、前記補助メディアデータと同期化される前記主メディアデータのフレームオフセット値をさらに含むことを特徴とする請求項２に記載の方法。
  4. マルチメディアブロードキャストサービスにおけるデータを同期化する受信装置であって、
    ブロードキャストサービスを提供する主メディアデータを受信して復号化するデコーダと、
    前記ブロードキャストサービスのための構成情報(ＣＩ)を受信して格納する補助メディア情報格納部と、
    前記構成情報に含まれた、前記主メディアデータに関する補助データを含む補助メディアデータの位置情報を確認し、前記位置情報により前記補助メディアデータを受信して格納する補助メディアデータキャッシュと、
    前記構成情報に含まれた前記補助メディアデータの開始情報を確認し、前記補助メディアデータを前記開始情報に関連した前記主メディアデータと同期化して実行する実行部と、
    を含むことを特徴とする受信装置。
  5. 前記開始情報は、
    前記補助メディアデータと同期化される前記主メディアデータの識別子と、
    前記補助メディアデータと同期化される前記主メディアデータのシーケンス番号と
    を含むことを特徴とする請求項４に記載の受信装置。
  6. 前記開始情報は、前記補助メディアデータと同期化される前記主メディアデータのフレームオフセット値をさらに含むことを特徴とする請求項５に記載の受信装置。
  7. マルチメディアブロードキャストサービスにおけるデータを同期化する方法であって、
    ブロードキャストサービスのために提供される主メディアデータを受信するステップと、
    前記主メディアデータに対する補助データを含む補助メディアデータに関する制御情報を受信して格納するステップと、
    前記制御情報に含まれた前記補助メディアデータの位置情報を確認し、前記位置情報により前記補助メディアデータを受信して格納するステップと、
    前記補助メディアデータの識別子が前記主メディアデータのヘッダーに含まれる場合に、前記補助メディアデータの識別子に対応する前記格納された補助メディアデータを読み取り、前記ヘッダーに含まれた同期化情報により前記主メディアデータと同期化して実行するステップと、
    を有することを特徴とする方法。
  8. 前記制御情報は、一つ以上のメディアデータに関する情報を含み、補助メディアデータの各々に、データのタイプ、実行属性、受信器の能力、格納空間、有効期限、及び表示位置情報のうち少なくとも一つをさらに含むことを特徴とする請求項７に記載の方法。
  9. 前記制御情報は、一つの補助メディアデータに関する一つ以上の位置情報を含むことを特徴とする請求項７に記載の方法。
  10. 前記ヘッダーは、前記補助メディアデータの実行を制御するための補助メディアデータ制御フィールドをさらに含むことを特徴とする請求項７に記載の方法。
  11. 連続して受信される複数の主メディアデータのヘッダーは、同一の補助メディアデータの識別子を含むことを特徴とする請求項７に記載の方法。
  12. 前記位置情報は、ブロードキャストネットワークのカルーセル又はインターネットユニフォームリソースロケータ(ＵＲＬ)情報であることを特徴とする請求項７に記載の方法。
  13. マルチメディアブロードキャストサービスにおけるデータを同期化する受信装置であって、
    ブロードキャストサービスのために提供される主メディアデータを受信して復号化するデコーダと、
    前記主メディアデータに対する補助データを含む補助メディアデータに対する制御情報を受信して格納する補助メディア情報格納部と、
    前記制御情報に含まれた前記補助メディアデータの位置情報を確認し、前記位置情報に従って前記補助メディアデータを受信して格納する補助メディアデータキャッシュと、
    前記補助メディアデータの識別子が前記主メディアデータのヘッダーに含まれる場合、前記補助メディアデータの識別子に対応する前記格納されている補助メディアデータを読み取り、前記ヘッダーに含まれた同期化情報により前記主メディアデータと同期化して実行する実行部と、
    を含むことを特徴とする受信装置。
  14. 前記制御情報は、一つ以上のメディアデータに関する情報を含み、補助メディアデータの各々に対して、データのタイプ、実行属性、受信器の能力、格納空間、有効期限、及び表示位置情報のうち少なくとも一つをさらに含むことを特徴とする請求項１３に記載の受信装置。
  15. 前記制御情報は、一つの補助メディアデータに関する一つ以上の位置情報を含むことを特徴とする請求項１３に記載の受信装置。
  16. 前記ヘッダーは、前記補助メディアデータの実行を制御するための補助メディアデータ制御フィールドをさらに含むことを特徴とする請求項１３に記載の受信装置。
  17. 連続して受信される複数の主メディアデータのヘッダーは、同一の補助メディアデータの識別子を含むことを特徴とする請求項１３に記載の受信装置。
  18. 前記位置情報は、ブロードキャストネットワークのカルーセル又はインターネットユニフォームリソースロケータ(ＵＲＬ)を示す情報であり、
    前記ブロードキャストネットワークのカルーセルから前記補助メディアデータを受信して処理し、前記補助メディアデータキャッシュに格納するカルーセルハンドラと、
    前記ＵＲＬから前記補助メディアデータをダウンロードして前記補助メディアデータキャッシュに格納するダウンローダと、
    をさらに含むことを特徴とする請求項１３に記載の受信装置。
JP2014531719A 2011-09-21 2012-09-20 マルチメディアブロードキャストサービスのメディアデータ同期化方法及び装置 Expired - Fee Related JP6219826B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2011-0095458 2011-09-21
KR20110095458 2011-09-21
KR10-2012-0045360 2012-04-30
KR1020120045360A KR101946861B1 (ko) 2011-09-21 2012-04-30 멀티미디어 방송 서비스의 미디어 데이터 동기화 방법 및 장치
PCT/KR2012/007550 WO2013042961A1 (en) 2011-09-21 2012-09-20 Method and apparatus for synchronizing media data of multimedia broadcast service

Publications (3)

Publication Number Publication Date
JP2014530558A true JP2014530558A (ja) 2014-11-17
JP2014530558A5 JP2014530558A5 (ja) 2015-11-12
JP6219826B2 JP6219826B2 (ja) 2017-10-25

Family

ID=48180846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014531719A Expired - Fee Related JP6219826B2 (ja) 2011-09-21 2012-09-20 マルチメディアブロードキャストサービスのメディアデータ同期化方法及び装置

Country Status (6)

Country Link
US (1) US9877051B2 (ja)
EP (1) EP2759142B1 (ja)
JP (1) JP6219826B2 (ja)
KR (1) KR101946861B1 (ja)
CN (1) CN103891301B (ja)
WO (1) WO2013042961A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018524904A (ja) * 2015-06-23 2018-08-30 サムスン エレクトロニクス カンパニー リミテッド マルチメディアシステムにおける信号送受信方法及び装置
US10880596B2 (en) 2015-06-23 2020-12-29 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving signal in multimedia system
JP2023099620A (ja) * 2013-07-25 2023-07-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12212791B2 (en) 2011-06-14 2025-01-28 Comcast Cable Communications, Llc Metadata delivery system for rendering supplementary content
WO2012174301A1 (en) 2011-06-14 2012-12-20 Related Content Database, Inc. System and method for presenting content with time based metadata
US20130191745A1 (en) * 2012-01-10 2013-07-25 Zane Vella Interface for displaying supplemental dynamic timeline content
CA2844605C (en) * 2011-08-10 2016-10-25 Lg Electronics Inc. Method for transmitting broadcast service, method for receiving broadcast service, and apparatus for receiving broadcast service
JP5661206B2 (ja) * 2012-01-31 2015-01-28 シャープ株式会社 生成装置、再生装置、データ構造、生成方法、再生方法、制御プログラム、および記録媒体
WO2014196189A1 (ja) * 2013-06-05 2014-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ データ復号方法、データ復号装置及びデータ送信方法
US20160073137A1 (en) * 2013-06-07 2016-03-10 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
US9800934B2 (en) * 2013-06-12 2017-10-24 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
KR101453484B1 (ko) * 2013-06-20 2014-10-22 주식회사 쓰리에이치에스 매핑데이터에 따라 데이터를 구분하여 제공하는 데이터 제공 시스템
JP2015015706A (ja) * 2013-07-03 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ データ送信方法、データ再生方法、データ送信装置およびデータ再生装置
JP6625318B2 (ja) * 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
WO2015052908A1 (ja) 2013-10-11 2015-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置および受信装置
JP6510205B2 (ja) 2013-10-11 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置および受信装置
WO2015060586A1 (ko) * 2013-10-23 2015-04-30 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
KR20150047082A (ko) 2013-10-23 2015-05-04 한국전자통신연구원 Ｍｍｔ 페이로드 헤더 구성 장치 및 방법
US10917682B2 (en) * 2013-12-11 2021-02-09 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for synchronizing media streams
WO2015105384A1 (ko) * 2014-01-09 2015-07-16 삼성전자 주식회사 멀티미디어 전송 시스템에서 미디어 데이터 관련 정보를 송신하는 방법 및 장치
WO2015105400A1 (en) * 2014-01-13 2015-07-16 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
US9621963B2 (en) 2014-01-28 2017-04-11 Dolby Laboratories Licensing Corporation Enabling delivery and synchronization of auxiliary content associated with multimedia data using essence-and-version identifier
JP6054324B2 (ja) * 2014-03-06 2016-12-27 株式会社東芝 Ｍｍｔ送信システム、暗号化処理装置
US10397634B2 (en) * 2014-03-25 2019-08-27 Synamedia Limited System and method for synchronized presentation of video timeline metadata
KR101805537B1 (ko) * 2014-04-18 2017-12-07 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US20160037126A1 (en) * 2014-10-21 2016-02-04 Livegenic Inc. Real-Time Visual Customer Support Enablement System and Method
US9584765B2 (en) * 2014-10-21 2017-02-28 Livegenic Inc. Real-time visual customer support enablement system and method
JP6809450B2 (ja) * 2015-04-07 2021-01-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
WO2016204502A1 (ko) * 2015-06-17 2016-12-22 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
US10057654B2 (en) 2016-01-29 2018-08-21 Roku, Inc. Selection and alignment of video segments for adaptive streaming
US10122781B2 (en) * 2016-01-29 2018-11-06 Roku Inc. Selection of video segments for adaptive streaming
US10218755B2 (en) 2016-01-29 2019-02-26 Roku, Inc. Extended selection and alignment of video segments for adaptive streaming
US20190208236A1 (en) * 2018-01-02 2019-07-04 Source Digital, Inc. Coordinates as ancillary data
JP7008514B2 (ja) * 2018-01-22 2022-01-25 キヤノン株式会社 通信装置、制御方法、及びプログラム
WO2019176085A1 (ja) * 2018-03-16 2019-09-19 シャープ株式会社 表示装置
CN112153395A (zh) * 2020-09-01 2020-12-29 海信电子科技（深圳）有限公司 流媒体数据播放方法和显示设备
US10985854B1 (en) * 2020-09-29 2021-04-20 Entercom Operations, Inc. System and methods of real-time creation of electronic programming guides for radio broadcasts

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037841A1 (en) * 2000-11-02 2002-05-10 Fujiyama Co., Ltd. Distribution system of digital image content and reproducing method and medium recording its reproduction program
JP2004140488A (ja) * 2002-10-16 2004-05-13 Fujitsu Ltd マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置
JP2004235734A (ja) * 2003-01-28 2004-08-19 Mitsubishi Electric Corp 受信機、放送送出装置及び補助コンテンツサーバ
JP2005159743A (ja) * 2003-11-26 2005-06-16 Sharp Corp 映像表示装置、映像表示プログラム、情報配信装置および情報通信システム
JP2007068172A (ja) * 2005-08-29 2007-03-15 Samsung Electronics Co Ltd 放送／通信結合サービス情報の送受信方法及び装置
US20100295992A1 (en) * 2007-01-08 2010-11-25 Sk Telecom. Co., Ltd System and method for synchroning broadcast content with supplementary information
JP2011124958A (ja) * 2009-12-14 2011-06-23 Canon Inc 放送受信装置及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1171457C (zh) * 1997-10-14 2004-10-13 汤姆森特许公司 用于格式化和处理多媒体节目数据和节目指南信息的系统
EP1170942A4 (en) * 2000-01-24 2007-03-07 Matsushita Electric Industrial Co Ltd IMAGE SYNTHESIZER, RECORDED MEDIUM AND PROGRAM
MY147018A (en) 2001-01-04 2012-10-15 Thomson Licensing Sa A method and apparatus for acquiring media services available from content aggregators
FR2871639A1 (fr) * 2004-06-11 2005-12-16 Thomson Licensing Sa Procede de gestion de programmes auxiliaires et recepteur et systeme correspondants
KR100678906B1 (ko) * 2005-10-05 2007-02-05 삼성전자주식회사 멀티미디어 컨텐츠 스트리밍 중에 부가 데이터를 제공하는방법 및 이를 위한 시스템
US7869420B2 (en) 2005-11-16 2011-01-11 Cisco Technology, Inc. Method and system for in-band signaling of multiple media streams
US20070208750A1 (en) 2006-03-01 2007-09-06 International Business Machines Corporation Method and system for access to distributed data
DE102007026531A1 (de) * 2006-10-31 2008-05-08 Siemens Ag Verfahren zur Synchronisierung von Szene-Datenfiles und Mediendatenströmen in einem unidirektionalen Datenübertragungssystem
US8875199B2 (en) 2006-11-13 2014-10-28 Cisco Technology, Inc. Indicating picture usefulness for playback optimization
KR20100050426A (ko) * 2008-11-04 2010-05-13 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
US20110013888A1 (en) 2009-06-18 2011-01-20 Taiji Sasaki Information recording medium and playback device for playing back 3d images
US9060193B2 (en) 2009-12-07 2015-06-16 Centurylink Intellectual Property Llc System and method for broadcasting video with a secondary audio source
US20120185905A1 (en) * 2011-01-13 2012-07-19 Christopher Lee Kelley Content Overlay System

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002037841A1 (en) * 2000-11-02 2002-05-10 Fujiyama Co., Ltd. Distribution system of digital image content and reproducing method and medium recording its reproduction program
JP2004140488A (ja) * 2002-10-16 2004-05-13 Fujitsu Ltd マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置
JP2004235734A (ja) * 2003-01-28 2004-08-19 Mitsubishi Electric Corp 受信機、放送送出装置及び補助コンテンツサーバ
JP2005159743A (ja) * 2003-11-26 2005-06-16 Sharp Corp 映像表示装置、映像表示プログラム、情報配信装置および情報通信システム
JP2007068172A (ja) * 2005-08-29 2007-03-15 Samsung Electronics Co Ltd 放送／通信結合サービス情報の送受信方法及び装置
US20100295992A1 (en) * 2007-01-08 2010-11-25 Sk Telecom. Co., Ltd System and method for synchroning broadcast content with supplementary information
JP2011124958A (ja) * 2009-12-14 2011-06-23 Canon Inc 放送受信装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"5. SMIL 3.0 TIMING AND SYNCHRONIZATION", [ONLINE], JPN6016045281, 1 December 2008 (2008-12-01), ISSN: 0003446516 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023099620A (ja) * 2013-07-25 2023-07-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
JP7509953B2 (ja) 2013-07-25 2024-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
JP2018524904A (ja) * 2015-06-23 2018-08-30 サムスン エレクトロニクス カンパニー リミテッド マルチメディアシステムにおける信号送受信方法及び装置
US10880596B2 (en) 2015-06-23 2020-12-29 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving signal in multimedia system

Also Published As

Publication number Publication date
JP6219826B2 (ja) 2017-10-25
EP2759142A4 (en) 2015-07-01
US20130074141A1 (en) 2013-03-21
EP2759142A1 (en) 2014-07-30
KR20130031767A (ko) 2013-03-29
EP2759142B1 (en) 2018-08-08
CN103891301A (zh) 2014-06-25
US9877051B2 (en) 2018-01-23
CN103891301B (zh) 2018-06-05
KR101946861B1 (ko) 2019-02-13
WO2013042961A1 (en) 2013-03-28

Similar Documents

Publication Publication Date Title
JP6219826B2 (ja) マルチメディアブロードキャストサービスのメディアデータ同期化方法及び装置
US11528082B2 (en) Method and apparatus for transmitting and receiving multimedia service
CN104541512B (zh) 用于处理包括交互式广播服务的广播信号的方法和装置
JP6212557B2 (ja) 対話型サービスを処理する装置及び方法
US20140201797A1 (en) Method for transmitting and receiving broadcast service and receiving device thereof
US10797811B2 (en) Transmitting device and transmitting method, and receiving device and receiving method
CN104012107B (zh) 处理与广播节目有关的双向服务的装置和方法
JP2024040224A (ja) 送信方法及び送信装置、並びに受信方法及び受信装置
JP6632749B2 (ja) マルチメディアサービス送信装置
KR20190125967A (ko) 멀티미디어 시스템에서 신호를 송신 및 수신하는 장치 및 방법
JP2016197789A (ja) 送信装置及び送信方法、並びに受信装置及び受信方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20141226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150918

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170928

R150 Certificate of patent or registration of utility model

Ref document number: 6219826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees