JP2018534857A - マルチメディアデータを送受信する方法及び装置 - Google Patents

マルチメディアデータを送受信する方法及び装置 Download PDF

Info

Publication number
JP2018534857A
JP2018534857A JP2018519483A JP2018519483A JP2018534857A JP 2018534857 A JP2018534857 A JP 2018534857A JP 2018519483 A JP2018519483 A JP 2018519483A JP 2018519483 A JP2018519483 A JP 2018519483A JP 2018534857 A JP2018534857 A JP 2018534857A
Authority
JP
Japan
Prior art keywords
metadata
top box
media
media data
playback device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018519483A
Other languages
English (en)
Other versions
JP6862437B2 (ja
Inventor
ソ，ヨン−ワン
パク，キョン−モ
ペ，ジェ−ヒョン
ヤン，ヒョン−ク
チェ，ビョン−ドゥ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2018534857A publication Critical patent/JP2018534857A/ja
Application granted granted Critical
Publication of JP6862437B2 publication Critical patent/JP6862437B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Abstract

本発明は、メディアデータを送信する方法を提供する。その方法は、メタデータを受信するステップと、メタデータをメディアデータのためのビットストリームに対応する所定のフォーマットに変換するステップと、変換されたメタデータをビットストリームに含めるステップと、メタデータが含まれたビットストリームを送信するステップを有する。

Description

本発明は、マルチメディアデータを送受信する方法及び装置に関する。
現在のデジタル放送は、ステレオ３Ｄビデオ放送、ＵＨＤ(Ultra High Definition)放送、多視点３Ｄビデオ放送、ホログラム放送などに発展すると予想され、各ステップに進む度に多くのデータ送信量が要求されるので、現在のＭＰＥＧ-２ＴＳ(Moving Picture Experts Group 2-Transport Stream)は、徐々に非効率的になる可能性がある。例えば、ＵＨＤ放送が、既存のＨＤＴＶに比べて４倍(４Ｋレベル）または１６倍(８Ｋレベル）の解像度を有するようになり、それによって高効率圧縮方式を適用しても、６ＭＨｚＴＶプログラムを一つのチャンネルで送信することができない。このように、データに対する高いデータレートが必要である場合、１８８バイトの固定長のパケットを有するＭＰＥＧ-２ＴＳは不適である。さらに、ブロードキャストネットワークを除いた他のすべてのネットワークがＩＰ(Internet Protocol)ネットワークに変わる環境で、ＭＰＥＧ-２ＴＳは、ＩＰと相互変換して使用するには不都合をもたらす。したがって、ＵＨＤ放送を商用化するために、ＩＰに対して親和性があり、ＭＰＥＧ-２ ＴＳに比べて一層効率的な新たなＡＶ(Audio Video)配信フォーマットが要求される。
したがって、上記した従来技術の問題点を解決するために、本発明の目的は、マルチメディアデータを送信する方法及び装置を提供することにある。
本発明の他の目的は、マルチメディアデータを受信する方法及び装置を提供することにある。
本発明の目的は、マルチメディアデータに関連したメタデータ情報をユーザー装置に送信する方法及び装置を提供することにある。
また、本発明の目的は、マルチメディアデータに関連したメタデータ情報をユーザー装置に受信する方法及び装置を提供することにある。
さらに、本発明の目的は、コンテンツに関連したメタデータ情報を含む圧縮されたメディアデータフォーマットを提供することにある。
本発明の他の目的は、圧縮されたメディアデータフォーマットを用いてメタデータをユーザー装置に送信する方法及び装置を提供することにある。
なお、本発明の目的は、圧縮されたメディアデータフォーマットを用いてユーザー装置に送信される配信されたメタデータを用いて追加サービスを提供する方法及び装置を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、セットトップボックスにおいてメディアデータを提供する方法が提供される。その方法は、所定のプロトコルをサポートするメディアデータに関連したメタデータを含むオーディオビットストリームを受信するステップと、セットトップボックスとメディア再生装置のうち少なくとも一つが所定のプロトコルをサポートするか否かを判定するステップと、セットトップボックスとメディア再生装置のうち少なくとも一つが所定のプロトコルをサポートするか否かに従って、メタデータを含むオーディオビットストリームをセットトップボックスに接続されたメディア再生装置にバイパスするか否かを判定するステップとを有する。
本発明の他の態様によれば、メディア再生装置においてメディアデータを再生する方法が提供される。その方法は、セットトップボックスからメディアデータに関連したメタデータを含むオーディオビットストリームを受信するステップと、メタデータを抽出するステップと、抽出されたメタデータをメタデータの処理のために変換するステップと、変換されたメタデータがメディアデータの再生に関連した一部情報を含む場合、メディアデータの再生に関連した追加情報を所定のプロトコルと所定のインターフェースを用いて取得するステップと、一部情報と追加情報を用いてメディアデータを再生するステップとを有する。
また、本発明の他の態様によれば、メディアデータを提供するセットトップボックスが提供される。上記セットトップボックスは、所定のプロトコルをサポートするメディアデータに関連したメタデータを含むオーディオビットストリームを受信する入力インターフェースと、セットトップボックスとメディア再生装置のうち少なくとも一つが所定のプロトコルをサポートするか否かを判定するプロトコル検出部と、セットトップボックスとメディア再生装置のうち少なくとも一つが所定のプロトコルをサポートするか否かに基づき、メタデータを含むオーディオビットストリームをセットトップボックスに接続されたメディア再生装置にバイパスするか否かを判定するメタデータ生成部とを含む。
さらに、本発明の他の態様によれば、メディアデータを再生するメディア再生装置が提供される。上記メディア再生装置は、セットトップボックスから所定のプロトコルをサポートするメディアデータに関連したメタデータを含むオーディオビットストリームを受信する入力インターフェースと、メタデータを抽出するメタデータ抽出部と、抽出したメタデータをメタデータの処理のために変換するメタデータ分析部と、変換したメタデータがメディアデータの再生に関連する一部情報を含む場合、メディアデータの再生に関連する追加情報を所定のプロトコルと所定のインターフェースを用いて取得するメディア送信処理部と、一部情報と追加情報を用いてメディアデータを再生するメディア再生部と、を含む。
一般的なブロードキャストネットワークサービスにおけるサービスエコシステムを構成するエンティティの一例を示す図である。 一般的なＳＴＢとテレビ(ＴＶ)のメディアデータ配信構成の一例を示す図である。 本発明の実施形態によるＴＶのオーディオメタデータ処理部の構成の一例を示す図である。 本発明の実施形態によるＭＶＰＤ再送信システムの構成例を示す図である。 本発明の実施形態によるＳＴＢの機能的構成の一例を示す図である。 本発明の実施形態によるＳＴＢ内部に位置したメタデータ生成部６００の構成の一例を示す図である。 本発明の実施形態によるＴＶに含まれる図３のメタデータ分析部３００の構成の一例を示す図である。 本発明の実施形態によるセットトップボックスの動作を示す図である。 本発明の実施形態によるメディア再生装置(例えば、ＴＶ）の動作を示す図である。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
同一の構成要素が異なる図面に記載されていたとしても、当該同一の構成要素は、できるだけ同一の参照符号及び参照番号を付して参照することとする。下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合には、その詳細な説明を省略する。また、後述する用語は、本発明の機能を考慮して定義されたものであって、ユーザー、オペレータの意図、又は慣例によって変化しうる。したがって、上記用語は、本明細書の全体内容に基づいて定義されなければならない。
以下に説明する本発明の実施形態は説明の便宜のために互いに分離されているが、相互にコンフリクトを起こさない範囲内で少なくとも２つ以上の実施形態を組み合わせることができる。
‘第１’、‘第２’のように序数を含む用語は多様な構成要素を説明するために使用されるが、構成要素は、上記用語により限定されるものではない。これら用語は、一つの構成要素を他の構成要素から区別する目的のみで使われる。例えば、本発明の開示範囲から外れない範囲で、第１の構成要素は第２の構成要素と称することが可能であり、同様に第２の構成要素を第１の構成要素と称することも可能である。‘及び/又は’との用語は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のうちいずれかの項目を含む。
本発明で提案する装置及び方法は、ロングタームエボリューション(ＬＴＥ)移動通信システム、ＬＴＥ-Ａ(LTE-Advanced)移動通信システム、高速ダウンリンクパケットアクセス(ＨＳＤＰＡ)移動通信システム、高速アップリンクパケットアクセス(ＨＳＵＰＡ)移動通信システム、３ＧＰＰ２ (3rd Generation Project Partnership 2）の高速レートパケットデータ(ＨＲＰＤ)移動通信システム、３ＧＰＰ２の広帯域符号分割多重アクセス(ＷＣＤＭＡ（登録商標）)移動通信システム、３ＧＰＰ２の符号分割多重アクセス(ＣＤＭＡ)移動通信システム、ＩＥＥＥ(Institute of Electrical and Electronics Engineers)８０２.１６ｍ通信システム、進化したパケットシステム(ＥＰＳ）、モバイルインターネットプロトコル(Ｍｏｂｉｌｅ ＩＰ)システムのような多様な通信システムに適用可能である。図１は、一般的なブロードキャストネットワークサービスのサービスエコシステムを構成するエンティティの一例を示す。
図１を参照すると、スタジオ１１０で作成されたコンテンツは、地上波ブロードキャストネットワーク１２０を介してブロードキャストプロバイダ１３０に配信された後、ブロードキャストプロバイダ１３０によって視聴者のユーザー装置１４０に直接配信されるか、あるいはＭＶＰＤ((Multichannel Video Programming Distributor)１３５を通してケーブル、衛星、またはＩＰネットワークを介して加入者のユーザー装置１４５に再送信できる。また、ＭＶＰＤ１３５は、ケーブルネットワーク１２５を通じてコンテンツを直接受信し、ケーブル、衛星、またはＩＰネットワークを介して加入者に配信する。
図２は、一般的なセットトップボックス(ＳＴＢ)２１０とＴＶ２２０のメディア配信構成を示す図である。
図２を参照すると、セットトップボックス２１０は、ＭＶＰＤからブロードキャスト信号を受信し、このブロードキャスト信号は、セットトップボックス２１０の入力処理部(processor)２１１でデジタル信号に変換されて送信処理部２１２に送信される。
送信処理部２１２は、入力されたデジタル信号を用いて所定のフォーマットを有するデータユニットを復元し、復元したデータユニットをメディア処理部２１３に送信する。このとき、データユニットは、ＭＰＥＧ２-ＴＳパケット、ＩＰパケット、ＭＭＴＰ(MPEG media transport Protocol)パケット、またはメディアファイルの形態を有し、このデータユニットは、サービスを構成するビデオ、オーディオデータ、またはメタデータを送信することができる。メディア処理部２１３は、データユニットからビデオデータを抽出してビデオ処理部２１４に送信し、オーディオデータを抽出してオーディオ処理部２１５に送信する。
メタデータは、メディア処理部２１３がビデオ処理部２１４とオーディオ処理部２１５の動作を制御するために使用できる。一般的に、ビデオ処理部２１４とオーディオ処理部２１５に送信されるビデオデータとオーディオデータは、所定の圧縮アルゴリズムを通じて圧縮されており、ビデオ処理部２１４は、ビデオデータを非圧縮(uncompressed)形態に回復させてセットトップボックス２１０の出力処理部２１６に送信し、オーディオ処理部２１５は、オーディオデータをそのまま(非圧縮形態または圧縮形態にて)セットトップボックス出力処理部２１６に送信、すなわちバイパスすることができる。圧縮アルゴリズムは、例えばＭＰＥＧ-Ｈで定義されたＨＥＶＣ(High Efficiency Video Coding)または３Ｄ-Ａｕｄｉｏであり得る。
セットトップボックス２１０の出力処理部２１６は、ビデオ及びオーディオ信号を、送信媒体を通じてＴＶ２２０の入力処理部２２１に送信する。送信媒体は、例えば、ＨＤＭＩ（登録商標）(High Definition Multimedia Interface)ケーブル、ＲＧＢ(Red-Green-Blue)ケーブル、またはコンポーネントケーブルであり得る。ＴＶ２２０の入力処理部２２１は、送信媒体を通じて送信されたビデオ及びオーディオ信号をＡ/Ｖレンダリング部２２３に伝送し、Ａ/Ｖレンダリング部２２３は、受信したビデオ及びオーディオ信号を用いてブロードキャストサービスを再生する。
上記したメディア送信過程において、コンテンツに含まれた各種メタデータ情報が損失するという問題が発生する可能性がある。例えば、ＨＤＭＩ（登録商標）/ＲＧＢケーブルなどを介してビデオ及びオーディオ信号がセットトップボックス２１０からＴＶ２２０に送信される前に、セットトップボックス２１０に入力されるメディアデータは、セットトップボックス２１０のメディア処理部２１３またはビデオ処理部２１４及びオーディオ処理部２１５で処理されつつ、メタデータ情報がすべて消費または除去され、メタデータが含まれない純粋なビデオ及びオーディオ信号のみが非圧縮(uncompressed)された形態でＴＶ２２０に送信され得る。この場合、ＴＶ２２０で使用可能なメタデータが失われてＴＶ２２０がメタデータを使用できないという問題が発生する。
参考として、メタデータは、例えばＴＶ２２０が現在再生中であるブロードキャストサービスに関連した付加コンテンツをインターネットネットワークを介して取得できる情報であり得る。このような例でメタデータが失われる場合、ＴＶ２２０は、追加コンテンツを取得することができない。
本発明の実施形態による圧縮されたメディアフォーマットの出力ストリームはメタデータを含む。以下に、メタデータが所定フォーマットのオーディオ信号の出力ストリームに含まれる例を説明する。所定のフォーマットは、ＭＰＥＧ-Ｈ ３Ｄ Ａｕｄｉｏに基づいて説明されるが、本発明の実施形態が他のメディアフォーマットに適用されることは明らかである。参考として、ＭＰＥＧ-Ｈ ３Ｄ Ａｕｄｉｏは、ＭＰＥＧで標準化している次世代高品質オーディオコーデックである。
＜ＭＰＥＧ-Ｈ ３Ｄ Ａｕｄｉｏの実施形態１＞
ＭＰＥＧ-Ｈ ３Ｄ Ａｕｄｉｏの第１の実施形態は、コアビットストリーム内の「ｍｐｅｇｈ３ｄａＦｒａｍｅ()」内に存在する拡張エレメントを用いてメタデータをストリーム内に含める方式であって、この方式は、ビットストリームの修正が最も容易であり、必要なビット消費(bit-consumption)も最小化することができる。第１の実施形態による「ｍｐｅｇｈ３ｄａＥｘｔＥｌｅｍｅｎｔＣｏｎｆｉｇ(）」の例は、下記の＜表１＞のようである。
Figure 2018534857
＜表１＞において、“ｕｓａｃＥｘｔＥｌｅｍｅｎｔＴｙｐｅ”は、ビットストリームの拡張形式(bit stream extension type）を知らせるための構成要素であって、その具体的な意味は下記の＜表２＞のように定義できる。
Figure 2018534857
＜表３＞は、“ｕｓａｃＥｘｔＥｌｅｍｅｎｔＴｙｐｅ”による“ｕｓａｃＥｘｔＥｌｅｍｅｎｔＳｅｇｍｅｎｔＤａｔａ”の例を示す。
Figure 2018534857
＜表３＞のＳｙｓＭｅｔａＦｒａｍｅ()の一例は、下記の＜表４＞のようなものである。
Figure 2018534857
＜表４＞に含まれた“ｍｓｇＴｙｐｅ”は、メタデータが該当ストリームに含まれるか否か及びメタデータがセグメンテーションされるか否かをシグナリングするための構成要素であって、その具体的な値の一例は、下記の＜表５＞のようになる。
Figure 2018534857
さらに、＜表４＞に含まれた“ｓｙｓＴｙｐｅ”は、メタデータの表現タイプ及びメタデータを処理するためのＭＰＥＧシステムをシグナリングするための構成要素であって、その具体的な値の一例は下記の＜表６＞のようになる。
Figure 2018534857
＜表６＞を参照すれば、“ｓｙｓＴｙｐｅ”が“ＳＹＳ_ＭＰ２ＴＳ”である場合、メタデータは、ＭＰＥＧ２-ＴＳパケットの形態で構成され、“ｓｙｓＴｙｐｅ”が“ＳＹＳ_ＭＭＴ”である場合に、メタデータは、ＭＭＴＰパケットの形態で構成されることがわかる。
他の実施形態において、ＭＰＥＧ２-ＴＳパケット及びＭＭＴＰパケットは、シグナリングメッセージを送信するためのパケット構成を有することができる。また、“ｓｙｓＴｙｐｅ”が“ＳＹＳ_ＤＡＳＨ”である場合、メタデータは、ＤＡＳＨ(Dynamic Adaptive Streaming over HTTP)ＭＰＤ(Media Presentation Description)のようなｘｍｌ形態の文書であり、あるいは他の実施形態でＴＶがｘｍｌ文書を取得するためのＵＲＬ(Uniform Resource Locator)情報であり得る。
＜表６＞を使用する実施形態では、パケットが送信されると仮定したが、実際の実現においては、次のような多様なタイプのメタデータが送信され得る。
- ＭＭＴシグナリングメッセージ
- ＭＭＴシグナリングテーブル
- ＭＰＥＧ２セクション
- 追加オーディオデータ
- 追加サービスの取得のためのブートストラップ情報(例えば、ＵＲＬ)
- メタデータが送信されるオーディオビットストリームの識別子またはオーディオを含むサービスの識別子(例えば、Ａｓｓｅｔ_ｉｄ)
あるいは、ＳｙｓＭｅｔａＦｒａｍｅ()を通じて一般的なファイルフォーマットのデータを送信し、ｓｙｓＴｙｐｅはＳＹＳ_ＦＩＬＥの値を有することができる。さらに、ファイルフォーマットのデータは、ＳｙｓＭｅｔａＦｒａｍｅ()に属するタイプでなく、別途のフレームで構成され送信されることに留意すべきである。さらに、メタデータの形態は、＜表６＞のｓｙｓＴｙｐｅを拡張して、一般的なＩＰパケットまたはＨＴＭＬ(HyperText Markup Language)形態の文書などを含んでいてもよい。
＜ＭＰＥＧ-Ｈ ３Ｄ Ａｕｄｉｏの実施形態２＞
ＭＰＥＧ-Ｈ ３Ｄ Ａｕｄｉｏの第２の実施形態では、＜ＭＰＥＧ-Ｈ ３Ｄ Ａｕｄｉｏの実施形態１＞で説明された実施形態より上位レベルである「ｍｐｅｇｈ３ｄａＦｒａｍｅ()」にメタデータを追加する方式である。第２の実施形態は、オーディオコーデックの特性によるフィールドである“ｕｓａｃＥｌｅｍｅｎｔＴｙｐｅ”フィールドにメタデータを追加する方式であって、“ｕｓａｃＥｌｅｍｅｎｔＴｙｐｅ”フィールドは、ＭＰＥＧ-Ｈ ３Ｄ ＡｕｄｉｏでなくＵＳＡＣ(Unified Speech and Audio Coding)に定義されている。本発明の第２の実施形態による「ｍｐｅｇｈ３ｄａＦｒａｍｅ(）」の例は、下記の＜表７＞のようになる。
Figure 2018534857
上記の＜表７＞の「ｍｐｅｇｈ３ｄａＳｙｓＭｅｔａＥｌｅｍｅｎｔ()」は、＜表４＞の「ＳｙｓＭｅｔａＦｒａｍｅ()」と類似した形態で構成され、ここで詳細な文法は省略する。
＜ＭＰＥＧ-Ｈ ３Ｄ Ａｕｄｉｏの実施形態３＞
ＭＰＥＧ-Ｈ ３Ｄ Ａｕｄｉｏの第３の実施形態において、メタデータは、「ｍｐｅｇｈ３ｄａＣｏｎｆｉｇＥｘｔｅｎｓｉｏｎ（）」に含まれる。第３の実施形態は、主に構成ファイルに対する修正がある場合に使用され、一つのｍｐ４ファイルに一つの参照が必要である。本発明の第３の実施形態による「ｍｐｅｇｈ３ｄａＣｏｎｆｉｇＥｘｔｅｎｓｉｏｎ（）」の一例は、下記の＜表８＞のようである。
Figure 2018534857
＜表８＞の“ｕｓａｃＣｏｎｆｉｇＥｘｔＴｙｐｅ”は、下記の＜表９＞のように定義できる。
Figure 2018534857
＜表８＞のｓｙｓＣｏｎｆｉｇ()は、上記の＜表４＞のＳｙｓＭｅｔａＦｒａｍｅ()に類似した形態で構成され、ここで詳細な文法は省略する。
以下に、マルチメディアコンテンツに含まれるメタデータをユーザー装置に送信する実施形態について説明する。
本発明の実施形態によるメタデータは、ケーブル、衛星、ＩＰのようなＭＶＰＤ送信ネットワークとセットトップボックスを通してユーザー装置(またはメディア再生装置)まで送信され、ユーザー装置で使用可能なすべてのデータを含む。ユーザー装置は、例えばＴＶであり、以下、ＴＶはユーザー装置の代表例として説明される。
本発明において、メタデータは、次の情報を含むことができる。
一例として、メタデータは、メタデータを含むオーディオビットストリームが含まれたサービスに対する識別子を含むことができる。このとき、識別子は、オーディオビットストリームで圧縮されたオーディオサービスを識別するためのものであり、他の実施形態では、オーディオサービスに関連したビデオサービスまたはオーディオサービスとビデオサービスすべてを含むマルチメディアサービスを識別するためのものであってもよい。
他の例では、メタデータは、ＴＶにおいて、セットトップボックスから送信されないビデオ/オーディオデータを他の送信媒体を介して取得して再生するための情報を含むことができる。すなわち、メタデータは、メディア取得に関連した情報を含むことができる。このとき、他の送信媒体は、有線インターネット又はＷｉ-Ｆｉネットワーク、３Ｇ/４Ｇ/５Ｇモバイルネットワーク、及びＵＳＢ(Universal Serial Bus)のような格納媒体などを含むことができる。さらに、ＭＰＥＧなどの団体で定義されたＭＰＥＧ２-ＴＳ、ＭＭＴ(MPEG Media Transport)、ＤＡＳＨ(Dynamic Adaptive Streaming over HTTP)のような標準技術、またはＨＬＳ(HTTP Live Streaming)のような技術を、ビデオ/オーディオデータを取得する機構として使用できる。このとき、メタデータのタイプは、上記したビデオ/オーディオデータを取得するメカニズムにおいて定義されるパケットのタイプに従ってもよく、あるいはシグナリングメッセージのメタデータの表現タイプに従ってもよい。
もう一つの実施形態において、メタデータは、ＴＶに適用されるファームウェア(firmware)、各種ソフトウェア、または一般的なファイルの送信に関連した情報を含むことができる。メタデータは、一般的なビットストリーム形態、または標準団体で定義されたファイルフォーマットまたはパケット形態で構成され得る。パケットは、ＩＰパケット、ＵＤＰパケット、ＲＤＰパケットのように現在産業界で使われるプロトコルで定義された方式を使用できる。メタデータは、メタデータが送信されるアプリケーションに関する情報をさらに含むことができる。
一方、本発明の実施形態では、メタデータを生成する主体は、図１に示したエンティティのうち少なくとも一つであり得る。
一実施形態において、メタデータは、スタジオ１１０によるコンテンツ作成過程で生成され圧縮されたオーディオビットストリームに含まれ得る。他の実施形態において、スタジオ１１０で生成されたメタデータは、ブロードキャストネットワーク１２０及びケーブルネットワーク１２５などで新たに生成されたメタデータに置き換えられてもよい。もう一つの実施形態では、メタデータは、ブロードキャストプロバイダ１３０またはＭＶＰＤ１３５で新たに生成されるか、あるいは修正される。また、メタデータは、加入者のＴＶ１４５に接続されたセットトップボックスにおいて新たに生成または修正されてもよい。
図２を参照すると、本発明の実施形態によるセットトップボックスは、次のように構成できる。
オーディオ処理部２１５は、オーディオビットストリームを受信し、受信したオーディオビットストリームを非圧縮処理することなく、そのままセットトップボックス出力装置２１６に伝送、すなわちバイパスする。したがって、オーディオビットストリームに含まれたメタデータは、ＴＶの入力処理部２２１を通してＴＶ２２０に送信される。
本発明の実施形態によるＴＶ内のオーディオ処理部２２２は、オーディオビットストリームを通じて送信されたメタデータを処理するためのオーディオメタデータ処理部(図示せず)を含む。上記したオーディオメタデータの実施形態によると、オーディオビットストリームに含まれたオーディオメタデータの種類に従ってオーディオメタデータ処理部の動作が判定される。
図３は、本発明の実施形態によるＴＶのオーディオメタデータ処理部の構成例を示す。
まず、メタデータがメディアデータの再生に必要な情報とメディアデータの取得に関連した情報を含む場合の動作について説明する。
図３を参照すると、オーディオメタデータ処理部３００は、図２のオーディオ処理部２２０からメタデータを受信する。メタデータ抽出部３１０は、メタデータを抽出するための処理プロセスを実行できる。抽出されたメタデータは、メタデータ分析部(parser)３２０に送信され、メタデータ分析部３２０は、メタデータをメタデータ処理部３００の動作に必要な情報のタイプに変換する。
メタデータ分析部３２０で分析されたメタデータのうち、メディアの再生に関連した情報はメディア表現処理部３３０に送信され、メディアデータの取得に関連した情報(例えば、メディアデータが格納されたＵＲＬ）はメディア送信処理部３４０に伝送される。メディア表現処理部３３０は、メディア再生に必要な情報を抽出及び加工してメディア再生部３８０に伝送する。メディア送信処理部３４０は、メディアデータの取得に関連した情報(例えば、ＵＲＬ)を用いて別の送信インターフェース及びプロトコル３５０，３６０を通して、メディアサーバ(図示せず)からメディアデータを取得し、取得したメディアデータをデコーダ３７０に送信する。図３において、別のプロトコルの例は、ＭＭＴＰ３５０とＨＴＴＰ３６０として示す。メディア再生部３８０は、メディア表現処理部３３０から受信した情報を用いて復号化されたメディアデータを再生する。
このようにメタデータは、メディアの再生に必要な情報の全部を含まないことがある。この場合、メディア送信処理部３４０は、メディアデータの取得に必要な情報を用いてメディア再生に必要な追加情報を別のサーバから送信インターフェース及びプロトコル３５０，３６０を用いて取得し、取得したメディアの再生に必要な追加情報をメディア表現処理部３３０に送信する。
参考として、上記した実施形態において、オーディオ処理部２２２の出力は、ＭＭＴシグナリングメッセージを含むＭＭＴＰパケットの形態であり得る。この場合、メタデータ抽出部３１０は、ＭＭＴＰパケットからＭＭＴシグナリングメッセージを抽出してメタデータ分析部３２０に送信する。
メタデータがコンテンツの識別子を含む場合、オーディオメタデータ処理部３３０は、識別子により識別される追加サービスのリストを確認し、ユーザーの選択又は所定のポリシーによって追加サービスのメディアデータ及び再生に必要な情報を別途の送信媒体を通じて取得し、これをデコーダ３７０及びメディア再生部３８０に伝送できる。
一方、メタデータがＤＡＳＨ ＭＰＤ(Media Presentation Description)の形態を有する場合、オーディオメタデータ処理部３３０は、別途のＤＡＳＨ処理部(図示せず）にてＤＡＳＨ ＭＰＤを送信し、メタデータがＤＡＳＨ ＭＰＤのＵＲＬである場合には、ＵＲＬを用いてＤＡＳＨ ＭＰＤを取得してＤＡＳＨ処理部に送信する。
他の実施形態において、メタデータが特定アプリケーションで使用されるデータを含む場合、メタデータ処理部３００は、オーディオ処理部２２２から送信されたメタデータをアプリケーションで使用されるインターフェースに合わせて送信できる。
参考として、別の送信インターフェースは、イーサネット（登録商標）、Ｗｉ-Ｆｉ、３Ｇ/４Ｇ/５Ｇモバイルネットワーク、及びＵＳＢのような格納媒体などを含むことができる。上記したように、送信プロトコルは、ＭＭＴＰ３５０及びＨＴＴＰ３６０などを含むことができる。
一方、上記した実施形態において、オーディオメタデータ処理部３００は、メタデータのフォーマットによって各々のフォーマットを処理するために別のユニットで構成されてもよく、あるいは複数のフォーマットを一つのユニットで処理できるメタデータ分析部３２０のような構成要素を用いて一つのユニットで構成されてもよい。
さらに、オーディオメタデータ処理部３００の構成要素のうち、全体または一部はオーディオ処理部２２２に含まれ、オーディオ処理部２２２はオーディオ信号を復号化するオーディオデコーダ(図示せず)を含むことができる。
以下、図１に示したＭＶＰＤ１３５の構成について説明する。
図４は、本発明の実施形態によるＭＶＰＤの構成例を示す。
図４を参照すると、ＭＶＰＤ４００は、図１のケーブルネットワーク１２５またはブロードキャストプロバイダ１３０からブロードキャストサービスデータを受信する。受信されたブロードキャストサービスデータは、デマルチプレクサ４１０でビデオ信号、オーディオ信号、及びシグナリング情報にデマルチプレクシングされ、各々ビデオトランスコーダ４３０、オーディオトランスコーダ４４０、及びシグナリング変換部４５０に配信される。このとき、ビデオ信号及びオーディオ信号を構成するビットストリームは、ケーブルネットワーク１２５、ブロードキャストプロバイダ１３０、またはスタジオ１１０により挿入されたメタデータを含むことができる。
トランスコーダ４３０，４４０は、受信したビデオデータの解像度またはオーディオデータのビットレートを変換するなどビットストリームを適切に変換する動作を実行できる。一方、ビデオトランスコーダ４３０、オーディオトランスコーダ４４０、及びシグナリング変換部４５０の出力は、マルチプレクサ４６０を通じてユーザー装置１４５に送信される。
本発明の実施形態によるＭＶＰＤ４００は、メタデータ生成部４２０を含む。メタデータ生成部４２０は、加入者のユーザー装置、例えばＴＶに伝送されるメタデータと加入者のセットトップボックスに送信されるメタデータを生成する。加入者のＴＶに配信されるメタデータは、ビデオトランスコーダ４３０またはオーディオトランスコーダ４４０に送信され、加入者のセットトップボックスに送信されるメタデータはシグナリング変換部４５０に送信される。
ビデオトランスコーダ４３０及びオーディオトランスコーダ４４０は、ビットストリームを解析し、受信したビットストリームに含まれたメタデータを削除したり、受信したビットストリームに含まれたメタデータをメタデータ生成部４２０から送信されたメタデータに取り換えたり、受信したビットストリームに含まれたメタデータを維持したままメタデータ生成部４２０から受信したメタデータを追加したりして、新たなビットストリームを生成することができる。
ＭＶＰＤ４００の入/出力インターフェースがメディアデータの種類による別のメカニズムを有する場合、図４でＭＶＰＤ４００は、デマルチプレクサ４１０及びマルチプレクサ４６０を含まないことがある。
メタデータ生成部４２０は、ＭＶＰＤ自体のサービス構成に関連した情報、個人用広告、及び加入者のＴＶまたはセットトップボックスに送信しようとする情報を含むメタデータを生成し、あるいは別の契約関係によって第三者が加入者のＴＶまたはセットトップボックスに伝送しようとするメタデータを第三者から受信し、受信したメタデータを加入者のＴＶまたはセットトップボックスに送信することができる。
他の実施形態において、ＭＶＰＤ４００が加入者のセットトップボックス及びＴＶに個人用メタデータを送信できる送信媒体を有する場合、メタデータ生成部４２０で生成されたメタデータは、その用途に従って加入者のセットトップボックス及びＴＶに直ちに送信できる。このとき、本発明の実施形態によるＴＶのオーディオメタデータ処理部３００は、オーディオ処理部２２２でなく別のインターフェースを用いてメタデータを取得し処理することができる。
上記したＭＶＰＤ４００の動作は、ＭＶＰＤ４００だけでなくブロードキャストプロバイダ１３０がブロードキャストネットワーク１２０から受信したブロードキャストサービスをＭＶＰＤ１３５に送信する場合、及びブロードキャストサービスデータを送信するいかなるエンティティにも同様に適用され得る。
図５は、本発明の実施形態によるセットトップボックス５００の構成の一例を示す。
図５を参照すれば、セットトップボックス５００は、ＭＶＰＤ４００からブロードキャスト信号を受信し、ブロードキャスト信号は、セットトップボックス５００の入力処理部５１０でデジタル信号に変換されて送信処理部５２０に送信される。
送信処理部５３０は、入力されたデジタル信号を用いて所定のフォーマットを有するデータユニットを復元し、復元したデータユニットをメディア処理部５３０に送信する。データユニットは、ＭＰＥＧ２-ＴＳパケット、ＩＰパケット、ＭＭＴＰパケット、またはメディアファイルの形態を有し、サービスを構成するビデオデータ、オーディオデータ、またはメタデータのうち少なくとも一つを含むことができる。
メディア処理部５３０は、受信したデータユニットからビデオデータを抽出してビデオ処理部５５０に送信し、オーディオデータを抽出してオーディオ処理部５６０に送信する。メタデータは、ビデオ処理部５５０、オーディオ処理部５６０の動作を制御するためにメディア処理部５３０に使用され、ＴＶに送信されるメタデータはメタデータ生成部５４０に送信され得る。
メタデータ生成部５４０は、送信処理部５２０、メディア処理部５３０、または別の入力インターフェースのうち少なくとも一つからメタデータを取得し、ＴＶに送信されるメタデータをオーディオ処理部５６０に送信する。
他の実施形態において、セットトップボックス５００がＷｉ-Ｆｉを通してＴＶとデータを交換する場合、メタデータ生成部４２０で生成されたメタデータは、その用途に応じて加入者のＴＶに直ちに送信され得る。このとき、ＴＶ２２０のオーディオメタデータ処理部３００は、オーディオ処理部２２２でなく、別のインターフェースを用いてメタデータを取得して処理できる。
一方、オーディオ処理部５６０は、受信したビットストリームを解析し、受信したビットストリームに含まれたメタデータを削除し、受信したビットストリームに含まれたメタデータをメタデータ生成部５４０から受信したメタデータに取り換え、あるいは受信したビットストリームに含まれたメタデータを維持したままメタデータ生成部５４０から配信されたメタデータを追加して新たなビットストリームを生成することができる。
図５に示されていないが、本発明の実施形態によるビデオ処理部５５０は、オーディオ処理部５６０と同様にビットストリームを解析し、既存のビットストリームに含まれたメタデータを削除したり、既存のビットストリームに含まれたメタデータをメタデータ生成部５４０から受信されたメタデータに取り換えたり、既存のビットストリームに含まれたメタデータを維持したままメタデータ生成部５４０から受信されたメタデータを追加したりして、新たなビットストリームを生成できる。
以下、本発明の実施形態によってセットトップボックスでメタデータを生成または処理する方式について説明する。
図６は、本発明の実施形態によるセットトップボックス内部に位置したメタデータ生成部６００の構成の一例を示す。
サービスプロバイダ(ＳＰ)は、自分の所有物であるセットトップボックスの存在とその機能/仕様/ＭＭＴサポートの有無に関して正確な情報を知っており、コンテンツプロバイダ(ＣＰ）は、ＳＰとの契約(contract)有無に従ってセットトップボックスの情報を正確に知るか、あるいは知らないこともある。しかしながら、２つのケースの両方において、サービスプロバイダまたはコンテンツプロバイダは、ユーザーが購入し設置したＴＶがＭＭＴをサポートする装置であるか否かが不明である場合がある。
このとき、オーディオメタデータの送信経路上に位置したセットトップボックスとＴＶが、すべての特定フォーマット、例えばＭＭＴ(又はＤＡＳＨ）のパケットをサポートする装置であり、セットトップボックスとＴＶのうちいずれか一つの装置が特定フォーマットのパケットを処理するための動作を実行すべきであるか不明である。以下の説明では、特定フォーマットはＭＭＴであると仮定して説明する。
コンテンツプロバイダ(ＣＰ)によりオーディオビットストリームに挿入されるメタデータをセットトップボックスで処理する必要がある場合、メタデータを含むオーディオビットストリームがそのままＴＶに送信される場合に問題が発生する可能性がある。このために、セットトップボックスとＴＶがＭＭＴをサポートする装置であるか否か、すなわちセットトップボックスとＴＶの能力(capability)によって、セットトップボックスは、オーディオメタデータ情報を追加、変更、代替、及び削除のうち少なくとも一つを実行して、ＴＶがメタデータに関連して意図しない誤動作を実行しないようにする必要がある。
図６を参照すると、メタデータ生成部６００は、サーバ情報受信部６１０、送信処理部情報受信部６２０、メディア処理部情報受信部６３０、ＴＶ情報受信部６４０から放送メディアコンテンツを受信するクライアント装置(例えば、ＴＶ)タイプ及び/または性能に関連した情報を受信する。受信した情報は、クライアントプロトコル検出部６５０に送信され、クライアントプロトコル検出部６５０は、上記情報に基づいて現在のセットトップボックス、またはセットトップボックスに接続されたＴＶがＭＭＴフォーマットをサポートする装置であるか、あるいはＤＡＳＨフォーマットをサポートする装置であるかを判定する。クライアントプロトコル検出部６５０の具体的な動作は、以下の通りである。
クライアントプロトコル検出部６５０は、送信処理部情報受信部６２０から送信されたパケットのタイプ(例えば、ＴＳ、ＭＭＴ、ＤＡＳＨ等)から現在のセットトップボックスがＭＭＴフォーマットをサポートする装置であるか否かを判定するために使用される情報を抽出できる。
クライアントプロトコル検出部６５０は、メディア処理部情報受信部６３０から送信された情報を受信した後、上記情報から復元されたメディアタイプ(例えば、ＭＭＴ ＰＡメッセージ、ＤＡＳＨ ＭＰＤ)の情報を用いて現在のセットトップボックスがＭＭＴフォーマットをサポートする装置であるか否かを判定するために使用される情報を取得できる。
クライアントプロトコル検出部６５０は、サーバ情報受信部６１０、送信処理部情報受信部６２０、及びメディア処理部情報受信部６３０から送信されたパケットから抽出した情報から、現在のセットトップボックスがＭＭＴフォーマットをサポートする装置であるか否かを決定することが難しい場合、プロバイダのサーバにフォーマットの判定に関する情報のクエリ(query)を行い、その応答を受信して現在のセットトップボックスがＭＭＴをサポートする装置であるか否かを判定するために使用される情報を取得できる。
クライアントプロトコル検出部６５０は、ＴＶ情報受信部６４０から送信された情報から、現在のセットトップボックスに接続されたＴＶがＭＭＴフォーマットをサポートする装置であるか否かを判定するために使用される情報を取得できる。このようなケースは、例えば、セットトップボックス６００がドングル(Dongle)またはＷｉ-ＦｉにてＴＶに接続される場合である。
クライアントプロトコル検出部６５０は、セットトップボックス情報受信部６４５から現在のセットトップボックス自体が保有したデバイスＡＰＩ(Application Programming Interface)を通じて、現在セットトップボックスがＭＭＴフォーマットをサポートする装置であるか否かを判定するために使用される情報を取得できる。
セットトップボックス６００のエンティティ６１０〜６４５からセットトップボックス６００に接続されたＴＶがサポートするプロトコルタイプを判定するために必要な情報を受信した後、クライアントプロトコル検出部６５０は、現在のセットトップボックスまたは現在のセットトップボックスに接続されたＴＶがＭＭＴ(またはＤＡＳＨ)フォーマットをサポートする端末であるか否かを判定する。現在のセットトップボックス及びＴＶがＭＭＴ(またはＤＡＳＨ)をサポートする装置であるか否かに従って、オーディオビットストリームにシステムに関連したメタデータがそのまま挿入されてＴＶに送信されないように、メタデータを削除または修正する動作が実行できる。
以下、セットトップボックスとセットトップボックスに接続されたＴＶがＭＭＴフォーマットをサポートするか否かに従って、可能なケースでセットトップボックスの動作について説明する。
＜ケース１＞
現在セットトップボックスとセットトップボックスに接続されたＴＶが両方ともＭＭＴをサポートする装置である場合、不要なシステムメタデータがオーディオビットストリームに挿入されてセットトップボックスを通してそのままＴＶに送信される場合、ＴＶが誤作動する可能性がある。この場合、セットトップボックスのクライアントプロトコル検出部６５０は、オーディオビットストリームに含まれたメタデータをメタデータ生成部６６０を通じてセットトップボックスのオーディオ処理部２２２に送信し、オーディオ処理部２２２は、メタデータを削除してＴＶに不必要なメタデータが伝送されないようにする。
＜ケース２＞
現在のセットトップボックスがＭＭＴをサポートする装置であり、セットトップボックスに接続されたＴＶがＭＭＴをサポートしない装置である場合、ＴＶは、単純なディスプレイとしての役割のみを実行するようになる。したがって、メタデータがＴＶに配信されてもＴＶには特別な問題が発生しない。したがって、セットトップボックスは、オーディオビットストリーム内のメタデータを削除してもよく、削除しなくてもよい。
＜ケース３＞
現在のセットトップボックスがＭＭＴをサポートしない装置であり、セットトップボックスに接続されたＴＶがＭＭＴをサポートする装置である場合、ＴＶのみがＭＭＴフォーマットを処理する動作を実行できるので、セットトップボックスは、オーディオビットストリーム内のメタデータをそのままＴＶに伝送、すなわち、バイパスする。
＜ケース４＞
現在のセットトップボックスとセットトップボックスに接続されたＴＶが両方ともＭＭＴをサポートしない装置である場合、ＭＭＴフォーマットを処理できる装置はない。したがって、セットトップボックスは、メタデータに対して何らの動作を実行する必要がない。
図７は、本発明の実施形態によるＴＶに含まれる図３に示したメタデータ分析部３００の構成の一例を示す。
メタデータ分析部３００は、システムメタデータ検出部７１０、システムメタデータ管理部７２０、システムデモン部７３０、及びＭＭＴ処理部７４０を含む。
システムメタデータ検出部７１０は、ＴＶのメタデータ抽出部３１０から送信されるシステム情報から、ＴＶに含まれる(図示せず)構成要素から受信される情報に基づき、ＴＶがＭＭＴ(またはＤＡＳＨ)フォーマットをサポートするか否かを判定する。図示されない構成要素は、図６で説明した構成要素６１０〜６４５に対応する。システムメタデータ管理部７２０は、情報に基づいてＴＶが受信したメタデータをＭＭＴ(またはＤＡＳＨ)を用いて処理するか否かを判定できる。
以下、セットトップボックスとセットトップボックスに接続したＴＶがＭＭＴフォーマットをサポートするか否かに従って可能なケースでＴＶの動作について説明する。
＜ケース１＞
現在のセットトップボックスとセットトップボックスに接続されたＴＶが両方ともにＭＭＴをサポートする装置であるとき、不要なシステムメタデータがオーディオビットストリームに挿入されてセットトップボックスを介してＴＶに配信される場合、ＴＶが誤作動することがある。この場合、ＴＶのシステムメタデータ管理部７２０は、オーディオビットストリームに含まれたメタデータを受信してもメタデータを処理しない。
＜ケース２＞
現在のセットトップボックスがＭＭＴをサポートする装置であり、セットトップボックスに接続されたＴＶがＭＭＴをサポートしない装置である場合、ＴＶは、単純なディスプレイとしての役割のみを果たす。したがって、ＴＶは、特別な動作を実行しなくても関係ない。
＜ケース３＞
現在のセットトップボックスがＭＭＴをサポートしない装置であり、セットトップボックスに接続されたＴＶがＭＭＴをサポートする装置である場合、ＭＭＴフォーマットを処理する動作はＴＶのみができるので、ＴＶは、受信されたオーディオビットストリーム内のメタデータに対する適切な動作を実行する。
＜ケース４＞
現在のセットトップボックスとセットトップボックスに接続されたＴＶが両方ともにＭＭＴをサポートしない装置である場合、ＭＭＴフォーマットを処理できる装置がない。したがって、ＴＶは、メタデータに対して特別な動作を実行する必要がない。
以下、本発明の実施形態によるセットトップボックス及びＴＶの主動作について説明する。
図８は、本発明の実施形態によるセットトップボックスのメタデータに関連した動作を示す。
セットトップボックスは、コンテンツデータを受信する。コンテンツデータは、メタデータを含むオーディオビットストリーム及びビデオビットストリームを含む(８０１)。
セットトップボックスは、セットトップボックスとメディア再生装置がＭＭＴフォーマットをサポートするか否かを判定する(８０３)。これは、図６で説明したように実行できる。
セットトップボックスは、セットトップボックスとメディア再生装置のうち少なくとも一つがＭＭＴフォーマットをサポートするか否かに従ってメタデータを処理する。すなわち、メタデータを含むオーディオビットストリームをセットトップボックスに接続されたＴＶにバイパスするか、あるいは他の動作を実行する(８０５)。この動作は、図６にて説明したとおりである。一方、セットトップボックスは、上記した図６のようにメタデータを追加、削除、置換、及び変更することもできる。
図９は、本発明の実施形態によるメディア再生装置(例えば、ＴＶ）のメタデータに関連した動作を示す。
ＴＶは、セットトップボックスがバイパスするメタデータを含むオーディオビットストリームを受信すると仮定する(９０１)。ＴＶは、オーディオビットストリームからメタデータを抽出し(９０３)、メタデータをメタデータの処理に必要な形式に変換する(９０５)。
以後、メタデータに含まれた情報によって後続動作を実行する(９０７)。これに関しては、図３で説明した。具体的に、メタデータがメディアデータの取得に関連した情報とメディアデータの再生に必要な情報を含む場合、メディアデータは、メディアデータの取得に関連した情報(例えば、ＵＲＬ)を用いて別の送信インターフェース及びプロトコル３５０，３６０を通じてメディアサーバから取得され、取得されたメディアデータとメディアデータの再生に関する情報を用いて再生される。
上記した本発明の特定態様は、コンピュータ読み取り可能な記録媒体に対するコンピュータ読み取り可能なコードとして実施することができる。このコンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータを格納するデータストレージデバイスとなり得る。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ(Read-Only Memory)、ＲＡＭ(Random-Access Memory)、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置、及び搬送波(インターネットを介するデータ伝送のような)を含むことができる。また、このコンピュータ読み取り可能な記録媒体は、ネットワーク接続されたコンピュータシステムにわたって分散されることによって、コンピュータ読み取り可能なコードは分散形態で格納及び実行される。さらに、本発明を達成するための機能(function)プログラム、コード、及びコードセグメントは、当該技術分野における熟練されたプログラマにとっては容易に理解できる。
本発明の実施形態による装置及び方法は、ハードウェア、ソフトウェア、又は適切なハードウェア及びソフトウェアの組み合わせの形態で実現可能であるとことがわかる。このようなソフトウェアは、削除可能あるいは再書き込み可能の有無に関係なく、ＲＯＭなどの格納装置のような揮発性又は非揮発性格納装置、または例えば、ＲＡＭ(Random Access Memory)、メモリチップ、装置または集積回路のようなメモリ、あるいは例えばＣＤ、ＤＶＤ、磁気ディスク又は磁気テープのような光学的又は磁気的に記録可能であり、かつ機械(例えば、コンピュータ)で読み取り可能な格納媒体に格納することができる。本発明の一実施形態による方法は、制御部及びメモリを含むコンピュータまたは携帯端末により実現され、メモリは、本発明の実施形態を実現する指示を含むプログラムまたはプログラムを格納するのに適合した機械読み取り可能な格納媒体の一例であることがわかる。
したがって、本発明は、本請求項に記載された装置または方法を実現するためのコードを含むプログラム、及びこのようなプログラムを格納する機械(例えば、コンピュータ)読み取り可能な格納媒体を含む。このプログラムは、有線または無線接続を通じて伝送される通信信号のような任意の媒体を介して電気的に伝送でき、これに均等なものと共に本発明に含まれる。
さらに、本発明の一実施形態による装置は、有線または無線で接続されるプログラム提供装置でからプログラムを受信し格納することができる。プログラム提供装置は、プログラム処理装置が予め設定されたコンテンツ保護方法を実行するようにする指示を含むプログラム、コンテンツ保護方法に必要な情報などを格納するためのメモリ、グラフィック処理装置との有線または無線通信を実行するための通信部、及びグラフィック処理装置の要請または自動で該当プログラムを送受信装置に送信する制御部を含むことができる。

Claims (15)

  1. セットトップボックスにおいてメディアデータを提供する方法であって、
    所定のプロトコルをサポートする前記メディアデータに関連したメタデータを含むオーディオビットストリームを受信するステップと、
    前記セットトップボックスと前記メディア再生装置のうち少なくとも一つが前記所定のプロトコルをサポートするか否かを判定するステップと、
    前記セットトップボックスと前記メディア再生装置のうち少なくとも一つが前記所定のプロトコルをサポートするか否かに従って、前記メタデータを含むオーディオビットストリームを前記セットトップボックスに接続されたメディア再生装置にバイパスするか否かを判定するステップと、
    を有することを特徴とする方法。
  2. 前記セットトップボックスが前記所定のプロトコルをサポートせず、前記メディア再生装置が前記所定のプロトコルをサポートする場合、前記メタデータを含むオーディオビットストリームを、前記セットトップボックスに接続されたメディア再生装置にバイパスするステップをさらに有することを特徴とする請求項１に記載の方法。
  3. 前記セットトップボックスが前記所定のプロトコルをサポートし、前記メディア再生装置が前記所定のプロトコルをサポートする場合、前記メタデータを削除し、前記オーディオビットストリームを前記メディア再生装置に送信するステップをさらに有することを特徴とする請求項１に記載の方法。
  4. 前記セットトップボックスと前記メディア再生装置のうち少なくとも一つが前記所定のプロトコルをサポートするか否かは、
    前記セットトップボックスに含まれたデバイスＡＰＩ、前記セットトップボックスに接続されたサーバ、及び前記メディア再生装置のうち少なくとも一つから取得した情報に従って判定されることを特徴とする請求項１に記載の方法。
  5. 前記メタデータは、前記メディアデータが提供されるサービスの識別子を含み、
    前記メタデータは所定のパケットであり、
    前記メタデータは、前記メディアデータが提供されるシステムを指示する情報を含み、
    前記所定のプロトコルはＭＰＥＧメディアトランスポート(ＭＭＴ)プロトコルであることを特徴とする請求項１に記載の方法。
  6. 前記メタデータは、前記メディアデータのコンテンツプロバイダにより生成され、
    前記メタデータは、前記メディアデータを送信するサービスプロバイダにより追加、変更、または代替され、あるいは、
    前記メタデータは、前記セットトップボックスにより追加、変更、または代替されることを特徴とする請求項１に記載の方法。
  7. メディア再生装置においてメディアデータを再生する方法であって、
    セットトップボックスから前記メディアデータに関連したメタデータを含むオーディオビットストリームを受信するステップと、
    前記メタデータを抽出するステップと、
    前記抽出されたメタデータを前記メタデータの処理のために変換するステップと、
    前記変換されたメタデータが前記メディアデータの再生に関連した一部情報を含む場合、前記メディアデータの再生に関連した追加情報を所定のプロトコルと所定のインターフェースを用いて取得するステップと、
    前記一部情報と前記追加情報を用いて前記メディアデータを再生するステップと、
    を有することを特徴とする方法。
  8. 前記変換されたメタデータが前記メディアデータの取得に関連した情報を含む場合、前記メディアデータの取得に関連した情報を用いて前記メディアデータを取得するステップと、
    前記取得したメディアデータを再生するステップと、を有することを特徴とする請求項７に記載の方法。
  9. 前記メディアデータの取得に関連した情報は、前記メディアデータが格納されているＵＲＬ情報であることを特徴とする請求項８に記載の方法。
  10. 前記メタデータは前記メディアデータが提供するサービスの識別子を含み、
    前記メタデータは所定のパケットであり、
    前記メタデータは前記メディアデータが提供されるシステムを指示する情報を含み、
    前記所定のプロトコルはＭＰＥＧメディアトランスポート(ＭＭＴ)プロトコルであることを特徴とする請求項７に記載の方法。
  11. 前記メタデータは前記メディアデータのコンテンツプロバイダにより生成され、
    前記メタデータは、前記メディアデータを送信するサービスプロバイダにより追加、変更、または代替され、あるいは、
    前記メタデータは、前記セットトップボックスにより追加、変更、または代替されることを特徴とする請求項７に記載の方法。
  12. メディアデータを提供するセットトップボックスであって、
    所定のプロトコルをサポートする前記メディアデータに関連したメタデータを含むオーディオビットストリームを受信する入力インターフェースと、
    前記セットトップボックスと前記メディア再生装置のうち少なくとも一つが前記所定のプロトコルをサポートするか否かを判定するプロトコル検出部と、
    前記セットトップボックスと前記メディア再生装置のうち少なくとも一つが前記所定のプロトコルをサポートするか否かに基づき、前記メタデータを含むオーディオビットストリームを前記セットトップボックスに接続された前記メディア再生装置にバイパスするか否かを判定するメタデータ生成部と、
    を含むことを特徴とするセットトップボックス。
  13. 前記セットトップボックスは、請求項２乃至請求項６のうちいずれか１項により動作することを特徴とする請求項１２に記載のセットトップボックス。
  14. メディアデータを再生するメディア再生装置であって、
    セットトップボックスから前記メディアデータに関連したメタデータを含むオーディオビットストリームを受信する入力インターフェースと、
    前記メタデータを抽出するメタデータ抽出部と、
    前記抽出されたメタデータを前記メタデータの処理のために変換するメタデータ分析部と、
    前記変換されたメタデータが前記メディアデータの再生に関連した一部情報を含む場合、前記メディアデータの再生に関連した追加情報を所定のプロトコルと所定のインターフェースを用いて取得するメディア送信処理部と、
    前記一部情報と前記追加情報を用いて前記メディアデータを再生するメディア再生部と、
    を含むことを特徴とするメディア再生装置。
  15. 前記メディア再生装置は、請求項８乃至請求項１１のうちいずれか１項により動作することを特徴とする請求項１４に記載のメディア再生装置。
JP2018519483A 2015-10-13 2016-10-13 マルチメディアデータを送受信する方法及び装置 Active JP6862437B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0143109 2015-10-13
KR1020150143109A KR102393158B1 (ko) 2015-10-13 2015-10-13 메타데이터를 포함하는 비트 스트림을 이용한 서비스 제공 방법 및 장치
PCT/KR2016/011490 WO2017065521A1 (ko) 2015-10-13 2016-10-13 멀티미디어 데이터를 송수신하는 방법 및 장치

Publications (2)

Publication Number Publication Date
JP2018534857A true JP2018534857A (ja) 2018-11-22
JP6862437B2 JP6862437B2 (ja) 2021-04-21

Family

ID=58517464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018519483A Active JP6862437B2 (ja) 2015-10-13 2016-10-13 マルチメディアデータを送受信する方法及び装置

Country Status (5)

Country Link
US (1) US10904610B2 (ja)
JP (1) JP6862437B2 (ja)
KR (1) KR102393158B1 (ja)
CN (1) CN108141624B (ja)
WO (1) WO2017065521A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11315581B1 (en) * 2020-08-17 2022-04-26 Amazon Technologies, Inc. Encoding audio metadata in an audio frame

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003520008A (ja) * 2000-01-13 2003-06-24 ディジマーク コーポレイション メタデータの認証および媒体信号の透かしへのメタデータの埋込
JP2007520171A (ja) * 2004-01-29 2007-07-19 ヒルデブランド，ジョン，ジー． 信号提供方法及びシステム
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
WO2014014252A1 (en) * 2012-07-16 2014-01-23 Lg Electronics Inc. Method and apparatus for processing digital service signals
JP2015027091A (ja) * 2013-03-14 2015-02-05 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834016B1 (ko) * 2001-09-18 2008-06-02 엘지전자 주식회사 케이블 셋톱박스의 입력신호 처리장치
KR20070017498A (ko) * 2004-01-29 2007-02-12 존 쥐. 힐디브랜드 신호를 제공하는 방법 및 시스템
DE202004008353U1 (de) 2004-05-25 2004-07-29 Schimmel, Barbara Mobiler Pavillon mit variablem Grundriss
US20060209880A1 (en) * 2004-12-10 2006-09-21 Mediatek Incorporation Method of audio data transmission and system thereof
JP4379471B2 (ja) * 2006-12-29 2009-12-09 ソニー株式会社 再生装置および再生制御方法
KR101221473B1 (ko) * 2007-01-11 2013-01-14 삼성전자주식회사 메타 데이터 정보 제공 서버, 클라이언트 장치, 메타데이터 정보 제공 방법 및 콘텐츠 제공 방법
US9794310B2 (en) 2007-01-11 2017-10-17 Samsung Electronics Co., Ltd. Meta data information providing server, client apparatus, method of providing meta data information, and method of providing content
US8644162B2 (en) * 2007-07-16 2014-02-04 Echostar Technologies L.L.C. Network performance assessment apparatus, systems, and methods
US9996612B2 (en) * 2007-08-08 2018-06-12 Sony Corporation System and method for audio identification and metadata retrieval
KR101394154B1 (ko) * 2007-10-16 2014-05-14 삼성전자주식회사 미디어 컨텐츠 및 메타데이터를 부호화하는 방법과 그 장치
CN101521781A (zh) * 2009-03-25 2009-09-02 Tcl通力电子（惠州）有限公司 一种hdmi音频格式设置的方法
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
CN101841639A (zh) * 2010-03-26 2010-09-22 青岛海信电器股份有限公司 多媒体信号处理装置及多媒体影音系统
CN103004223A (zh) * 2010-07-19 2013-03-27 汤姆森许可贸易公司 针对电视观看的备选音频传送
US20120092444A1 (en) * 2010-10-19 2012-04-19 Cisco Technology, Inc. System and method for providing videomail in a network environment
WO2012161118A1 (ja) * 2011-05-20 2012-11-29 日本放送協会 端末連携システム、受信機及び受信方法
MY166917A (en) * 2012-04-26 2018-07-24 Qualcomm Inc Enhanced block-request streaming system for handling low-latency streaming
US9137281B2 (en) * 2012-06-22 2015-09-15 Guest Tek Interactive Entertainment Ltd. Dynamically enabling guest device supporting network-based media sharing protocol to share media content over local area computer network of lodging establishment with subset of in-room media devices connected thereto
CN102811383A (zh) * 2012-07-06 2012-12-05 深圳市同洲电子股份有限公司 一种基于机顶盒的视频文件播放方法及装置
KR20150073987A (ko) * 2012-10-18 2015-07-01 엘지전자 주식회사 양방향 서비스를 처리하는 장치 및 방법
US20150358507A1 (en) * 2014-06-04 2015-12-10 Sony Corporation Timing recovery for embedded metadata
CN104125488B (zh) * 2014-07-11 2017-06-23 深圳创维数字技术有限公司 一种节目的播放方法及装置
JP5725253B1 (ja) * 2014-12-19 2015-05-27 ソニー株式会社 送信装置及び送信方法、並びに受信装置並びに受信方法
WO2016129904A1 (ko) * 2015-02-10 2016-08-18 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003520008A (ja) * 2000-01-13 2003-06-24 ディジマーク コーポレイション メタデータの認証および媒体信号の透かしへのメタデータの埋込
JP2007520171A (ja) * 2004-01-29 2007-07-19 ヒルデブランド，ジョン，ジー． 信号提供方法及びシステム
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
WO2014014252A1 (en) * 2012-07-16 2014-01-23 Lg Electronics Inc. Method and apparatus for processing digital service signals
JP2015027091A (ja) * 2013-03-14 2015-02-05 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
KR20170043396A (ko) 2017-04-21
CN108141624B (zh) 2021-06-11
KR102393158B1 (ko) 2022-05-02
WO2017065521A1 (ko) 2017-04-20
CN108141624A (zh) 2018-06-08
JP6862437B2 (ja) 2021-04-21
US10904610B2 (en) 2021-01-26
US20180302662A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
US11374993B2 (en) Reception device, reception method, transmission device, and transmission method
KR102464061B1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
US8732775B2 (en) Systems and methods of processing closed captioning for video on demand content
US10645465B2 (en) Video file universal identifier for metadata resolution
JP6552482B2 (ja) 受信装置、受信方法、送信装置、及び、送信方法
US11956159B2 (en) Transmission device, transmission method, reception device, and reception method
KR20170138994A (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US20170134764A1 (en) Reception device, reception method, transmission device, and transmission method
JP6728246B2 (ja) マルチメディアシステムにおける信号送受信方法及び装置
CN105049931A (zh) 对移动终端中非支持格式的视频进行转换的方法及系统
US20170223394A1 (en) Methods and Systems for Cloud-Based Media Content Transcoding
US10237196B2 (en) Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
JP6862437B2 (ja) マルチメディアデータを送受信する方法及び装置
JP6598031B2 (ja) 受信装置、受信方法、送信装置、及び、送信方法
KR102210509B1 (ko) 멀티미디어 시스템에서 컨텐츠를 변환하는 방법 및 장치
KR20160036924A (ko) 사용기기에 독립적인 라이브 스트리밍 시스템
IT201800003105A1 (it) Metodo, terminale ed entità fornitrice per usufruire di un contenuto audio e/o video
KR20190029572A (ko) 정보 처리 장치 및 정보 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210331

R150 Certificate of patent or registration of utility model

Ref document number: 6862437

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250