JP2019524011A - Mmtpパケットを送受信する方法及びその装置 - Google Patents

Mmtpパケットを送受信する方法及びその装置 Download PDF

Info

Publication number
JP2019524011A
JP2019524011A JP2018562067A JP2018562067A JP2019524011A JP 2019524011 A JP2019524011 A JP 2019524011A JP 2018562067 A JP2018562067 A JP 2018562067A JP 2018562067 A JP2018562067 A JP 2018562067A JP 2019524011 A JP2019524011 A JP 2019524011A
Authority
JP
Japan
Prior art keywords
mmt
packet
mpu
signaling message
sequence number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018562067A
Other languages
English (en)
Other versions
JP6970124B2 (ja
Inventor
キム,ドン−ヨン
パク,キョン−モ
ペ,ジェ−ヒョン
ソ,ヨン−ワン
ヤン,ヒョン−ク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2019524011A publication Critical patent/JP2019524011A/ja
Application granted granted Critical
Publication of JP6970124B2 publication Critical patent/JP6970124B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383Accessing a communication channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61Network physical structure; Signal processing
    • H04N21/6106Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

MMT受信装置によるMMTPパケットを送受信する方法は、MMT送信装置とネットワーク接続を確立するステップと、第1のMMTシグナリングメッセージを生成するステップと、第1のMMTシグナリングメッセージを第1のMMTPパケットに変換するステップと、第1のMMTPパケットを送信するステップと、第2のMMTPパケットを受信するステップと、第2のMMTPパケットを用いて第2のMMTシグナリングメッセージを生成するステップと、第3のMMTPパケットを受信するステップと、第3のMMTPパケットと第2のMMTシグナリングメッセージを用いてMPUデータを再構成するステップとを有し、第3のMMTPパケットを受信するステップは、第2のMMTシグナリングメッセージに基づいて変更されたネットワーク接続を確立するステップと、変更されたネットワーク接続を通じて第3のMMTPパケットを受信するステップを有する。

Description

本発明は、マルチメディアシステムにおける多様なタイプのマルチメディアデータ及びマルチメディアサービスを含む複合マルチメディアデータを送受信するための方法及び装置に関するもので、特に放送ネットワークと通信ネットワーク、及びその他のネットワークを含む複合ネットワークで複合マルチメディアデータを伝送することに関する。
具体的には、MMT(MPEG Media Transport)技術を適用して複合マルチメディアデータを伝送するための装置及びその方法に関する。
最近、MMTに関連した技術が発展することによってMMTに関連した標準制定に多様な分野の研究者、技術者などが参加し、活発に研究が進んでいる。
一つのマルチメディア受信装置と一つのマルチメディア送信装置との間で一定のマルチメディアサービスのためのデータを交換するために、2つの装置を接続するネットワークによりサポートされるプロトコルに基づいてセッション(session)を確立(establish)しなければならない。移動通信ネットワークでは、一般的に受信側から送信側にセッションの確立とセッションを特定できるセッションキー(session key)をリクエストし、送信側ではリクエストされたセッションキーとセッションを初期化するために必要なIPアドレス、ポート番号などを提供するようになる。セッションが確立されると、本格的にマルチメディアサービスのためのデータをやり取りすることができ、マルチメディアサービスが持続されるためにはセッションも持続されなければならない。
一つのマルチメディア受信装置(受信エンティティ)と一つのマルチメディア送信装置(送信エンティティ)が一つのネットワークを介してセッションを確立してマルチメディアサービスを伝送するとき、受信装置又は送信装置の必要事項に従ってネットワークを変更したり、あるいはセッションを変更したりして、マルチメディアサービスを継続しなければならない場合が発生することがある。例えば、LTE(Long Term Evolution)移動通信ネットワークを用いて携帯電話にリアルタイムメディア伝送サービスが提供されているが、ユーザーが家で使用するWi-Fiネットワークを介して該当サービスの提供を継続して受けようとする場合、このようなネットワーク接続の変更に該当することができる。
さらに、LTE移動通信ネットワークを用いて携帯電話にリアルタイムメディア伝送サービスが提供されているが、LTE移動通信ネットワークサービスプロバイダがネットワーク状況を考慮してWi-Fiに変更しようとする場合があり得る。2つの場合、両方とも該当サービスをネットワークの接続が変更されても連続して提供するためにはセッションを新たに確立しなければならない。
上記した情報は、本発明の理解を助けるための背景情報として提示されるだけである。上記のいずれかが本発明に関する従来技術として適用されるか否かに関しては、何の決定も判定も下されていない。
ネットワーク接続が変更される場合、これに必要な受信装置と送信装置との間で必要な手順によってマルチメディアサービス伝送に遅延又は損失が発生するようになる。例えば、ネットワーク接続の変更のために再びセッションが確立される場合、セッションを確立するために必要な受信装置と送信装置との間でリクエストメッセージ及び応答メッセージが送受信される間に、マルチメディアデータは伝送されなくなる。また、受信装置が最後に処理してユーザーに提供したデータを送信装置に通知しない場合、送信装置は、セッションが再び確立されるときに、どの時点から再びサービスを続けるのかわかりにくい。これは、リアルタイム性と連続性が要求されるマルチメディアサービスにおいて性能低下が大きく発生するという問題があった。
したがって、本発明は上記した従来技術の問題点に鑑みてなされたものであって、その目的は、移動通信ネットワークを介してMMTシステムを利用するマルチメディアサービスの提供においてネットワークの接続が変更される場合に発生可能な伝送遅延と損失を減少させる方法を提供することにある。
本発明の他の目的は、MMTP(MMT Protocol)パケットを送受信する過程においてネットワーク接続が変更される場合、効率的にMMTPパケットを伝送する方法を提供することにある。
さらに、本発明の目的は、MMTPパケットを送受信する過程においてネットワーク接続が変更されてMMTPパケットの送受信にエラーが発生する場合、エラーを訂正する方法を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、MMTデバイスによるMMTPパケットを受信する方法が提供される。その方法は、他のデバイスからMMTPパケットの受信を開始するステップと、MMTPパケットの受信中に他のデバイスとのネットワーク接続の変更を検出するステップと、MMTPパケットのメディア内の再伝送時点を決定するステップと、他のデバイスにMMTP制御メッセージパケットを送信するステップと、ネットワーク接続が変更された後にMMTP制御メッセージパケットに基づいて伝送が再開されるMMTPパケットを他のデバイスから受信するステップとを有する。
本発明の他の態様によれば、MMT受信装置によるMMTPパケットを送受信する方法が提供される。その方法は、MMT受信装置が、MMTPパケットを送受信するために、MMT送信装置とネットワーク接続を確立するステップと、第1のMMTシグナリングメッセージを生成するステップと、生成された第1のMMTシグナリングメッセージを第1のMMTPパケットに変換するステップと、確立されたネットワーク接続を通じて第1のMMTPパケットを送信するステップと、確立されたネットワーク接続を通じて第2のMMTPパケットを受信するステップと、第2のMMTPパケットを用いて第2のMMTシグナリングメッセージを生成するステップと、第3のMMTPパケットを受信するステップと、第3のMMTPパケットと第2のMMTシグナリングメッセージを用いてMPUデータを再構成するステップとを有し、第3のMMTPパケットを受信するステップは、第2のMMTシグナリングメッセージに基づいて変更されたネットワーク接続を確立するステップと、変更されたネットワーク接続を通じて第3のMMTPパケットを受信するステップを有する。
本発明の他の態様によれば、MMT送信装置によるMMTPパケットを送受信する方法が提供される。その方法は、MMT送信装置が、MMTPパケットを送受信するためにMMT受信装置とネットワーク接続を確立するステップと、第1のMMTPパケットを受信するステップと、第1のMMTPパケットを用いて第1のMMTシグナリングメッセージを再構成するステップと、第1のMMTシグナリングメッセージに基づいて第2のMMTシグナリングメッセージを生成するステップと、第2のMMTシグナリングメッセージを変換した第2のMMTPパケットを送信するステップと、第2のMMTシグナリングメッセージに基づいて第3のMMTPパケットを送信するステップとを有し、第3のMMTPパケットを送信するステップは、第2のMMTシグナリングメッセージに基づいて変更されたネットワーク接続を確立するステップと、変更されたネットワーク接続を通じて第3のMMTPパケットを送信するステップを有する。
本発明の他の態様によれば、MMTPパケットを送受信するMMT受信装置は、MMTPパケットを送受信するためのプログラムが格納されたメモリ、及びプログラムを実行させるプロセッサを含み、プロセッサは、プログラムを実行させることによって、MMTPパケットを送受信するために、MMT送信装置とネットワーク接続を確立し、第1のMMTシグナリングメッセージを生成し、生成した第1のMMTシグナリングメッセージを第1のMMTPパケットに変換し、確立されたネットワーク接続を通じて第1のMMTPパケットを送信し、確立されたネットワーク接続を通じて第2のMMTPパケットを受信し、第2のMMTPパケットを用いて第2のMMTシグナリングメッセージを生成し、第3のMMTPパケットを受信し、第3のMMTPパケットと第2のMMTシグナリングメッセージを用いてMPUデータを再構成し、プロセッサにより第3のMMTPパケットを受信することは、第2のMMTシグナリングメッセージに基づいて変更されたネットワーク接続を確立し、変更されたネットワーク接続を通じて第3のMMTPパケットを受信することである。
さらに、本発明の他の態様によれば、MMTPパケットを送受信するMMT送信装置は、MMTPパケットを送受信するためのプログラムが格納されたメモリ、及びプログラムを実行させるプロセッサを含み、プロセッサは、プログラムを実行させることによって、MMTPパケットを送受信するためにMMT受信装置とネットワーク接続を確立し、第1のMMTPパケットを受信し、第1のMMTPパケットを用いて第1のMMTシグナリングメッセージを再構成し、第1のMMTシグナリングメッセージに基づいて第2のMMTシグナリングメッセージを生成し、第2のMMTシグナリングメッセージを変換した第2のMMTPパケットを送信し、第2のMMTシグナリングメッセージに基づいて第3のMMTPパケットを送信し、プロセッサにより第3のMMTPパケットを送信することは、第2のMMTシグナリングメッセージに基づいて変更されたネットワーク接続を確立し、変更されたネットワーク接続を通じて第3のMMTPパケットを送信することである。
本発明は、移動通信ネットワークにおけるMMTシステムを利用してマルチメディアサービスを提供することにおいて、ネットワーク接続が変更される場合に発生する伝送遅延と損失を減少させることができる。
本発明は、MMTPパケットを送受信する過程において、ネットワーク接続が変更される場合、効率的にMMTPパケットを伝送することによって、追加的なデータ伝送を防止してデータトラフィックと処理期間を節約することができる。
本発明の一実施形態によるパッケージを示すブロック構成図である。 本発明の一実施形態によるMPUをプレゼンテーションタイムラインにマッピングする一例を示す図である。 本発明の一実施形態によるV=0であるMMTPパケットの構成を示す図である。 本発明の一実施形態によるMPUモードのためのMMTPペイロードヘッダーの構造を示す図である。 本発明の一実施形態によるタイムドメディアMFUのためのDUヘッダーを示す図である。 本発明の一実施形態によるタイムドメディアのためのペイロードの生成を示す図である。 本発明の一実施形態によるMMTプロトコル仮想受信器モデルを示す図である。 本発明の一実施形態によるMMT受信装置を示すブロック構成図である。 本発明の一実施形態によるMMT送信装置を示すブロック構成図である。 本発明の他の実施形態によるMMT受信装置を示すブロック構成図である。 本発明の一実施形態によるMMT受信装置とMMT送信装置の動作を示すフロー図である。 本発明の一実施形態によるMMT受信装置の動作を示すフローチャートである。 本発明の他の実施形態によるMMT受信装置の動作を示すフローチャートである。 本発明の一実施形態によるMMT送信装置の動作を示すフローチャートである。 本発明の一実施形態によるMMTPパケットを送受信する方法が実現されるコンピュータシステムの構成を説明するための一例を示す図である。 本発明によるMMT受信装置とMMT送信装置を含むMMTP送受信システムの一例を示す図である。 本発明によるMMTPパケットを送受信する方法を説明するためのフローチャートである。 本発明のMMT受信装置によるMMTPパケットを送受信する方法を具体的に示すフローチャートである。 本発明のMMT送信装置によるMMTPパケットを送受信する方法を具体的に示すフローチャート図である。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合には、その詳細な説明を省略する。また、後述する用語は、本発明の機能を考慮して定義されたものであって、ユーザー、オペレータの意図、又は慣例によって変化しうる。したがって、上記用語は、本明細書の全体内容に基づいて定義されなければならない。
特に定義されない限り、ここで使用される技術的及び科学的な用語を含むすべての用語は、本発明が属する技術分野で通常の知識を持った者には一般的に理解される意味と同一の意味を有する。一般的に使用される辞書で定義されるような用語は、関連技術の文脈上有する意味と一致する意味を有すると理解されなければならなく、ここで明白に定義されない限り、理想的又は過度に形式的な意味で理解されない。
本発明の詳細な説明に先立ち、本明細書で使用されるいくつかの用語に対して解釈可能な意味の例を提示する。しかしながら、以下に提示する解釈例に限定されるものではないことに注意すべきである。
MPEG(Moving Picture Experts Group)は、動画を圧縮し、コードで表現する方法の標準化を目的とする動画像専門家グループである。
MMT(MPEG Media Transport)は、MPEGによって発展するデジタルコンテナ標準であり、ISO/IEC23008-1(MPEG-H Part1)などで記述される。MPEGは、高効率ビデオ符号化をサポートし、MMTは、すべてのインターネットプロトコルネットワークを用いてデータを伝送するために設計される。MMT技術が実現される一つ以上の装置はMMTシステムと称される。
MMTP(MPEG Media Transport Protocol)は、MMT技術で使用するプロトコルである。
本願の明細書及び特許請求の範囲で使用される用語は、辞書的な意味に限定されるものではない。より正確には、発明者が自分の発明を最善の方法で説明するために用語の概念を適切に定義できるという原則に基づき、本発明の範囲及び精神に適合する意味及び概念として解釈されなければならない。
‘第1’、‘第2’のように序数を含む用語は多様な構成要素を説明するために使用されるが、構成要素は、上記用語により限るものではない。これら用語は、一つの構成要素を他の構成要素から区別する目的のみで使われる。例えば、本発明の権利範囲から外れない限り、第1の構成要素は第2の構成要素と称され、同様に第2の構成要素も第1の構成要素と称される。‘及び/又は’との用語は、複数の関連した記載項目の組み合わせ又は複数の関連した記載項目のうちいずれかの項目を含む。
英文明細書に記載の“a”、“an”、及び“the”、すなわち単数形は、コンテキスト中に特に明示されない限り、複数形を含むことは、当業者にはわかることである。また、‘含む’又は‘有する’などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたことが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴が数字、段階、動作、構成要素、部品又はこれらを組み合わせるものの存在又は付加可能性を予め排除しないことを理解しなければならない。
図1は、本発明の一実施形態によるパッケージのブロック構成図である。
メディアサンプルは、一つの時点(timestamp)に関連するメディアデータを意味する。例えば、1個のビデオサンプルは、ビデオの1個のフレームに対するデータを含む。
MMTシステムにおいて、パッケージは、一つの論理的なメディアデータの集合である。MMTパッケージは、メディアデータの集合に対応する一つ以上のアセット、アセット間の時間的、空間的関係を説明するプレゼンテーション情報、及びアセットを伝送するのに必要なQoS又は配信関連情報を有するアセット配信特性(Asset Delivery Characteristics)を含む。
アセットは、一つのマルチメディアプレゼンテーションを構成するメディアデータの集合であり、一つのアセットは、同一のアセットIDを有する一つ以上のMPU(Media Processing Unit)を含む。一つのアセット内で各々のMPUは、重ならないアセットのフラグメントを含む。すなわち、連続する2つの異なるMPUは、同一のメディアサンプルを含まない。
MPUは、MMT受信装置(MMT受信エンティティ、MMT受信器)のプレゼンテーションエンジンで独立的に消費されるメディアデータの単位に対応する。
言い換えれば、MPUは、独立的に復号化可能な時間的−非時間的データのための一般コンテナである。MPUは、メディアコーデックによって制限されないデータ単位である。MPUは、一つ以上のメディアサンプルを含む。
MMT装置における一つのMPUを処理する過程は、メディアデータをMPU単位でカプセル化(encapsulation)/デカプセル化(de-capsulation)することと、パケット化(packetization)/デパケット化(de-packetization)することを含む。
一つのMPUは、1個以上のMPUフラグメントに分離できる。MPUフラグメントの一例は、MFU(Media Fragment Unit)である。但し、本発明においてムービーフラグメントシーケンス番号は、図6のmoofとmdatとの対からなされる単位に付けたシーケンス番号を示すことができる。一つのMPU内でムービーフラグメントシーケンス番号は、0からナンバリングされ、これに限定されるものではなく、順序に応じてナンバリングすればよい。MPUフラグメントとムービーフラグメントは、MPUのフラグメントという点では共通点があり、たびたび同一の意味で使用されるが、本発明では明確性のために区別して使用する。但し、区別して使用することは、本発明の範囲を限定するものではない。場合によって、ムービーフラグメントは、一つ以上のMPUを含むことに限定されるものではない。
一つのMPUは、パケット化のために1個以上のデータユニット単位でフラグメント化できる。データユニットは、ムービーフラグメントでありうる。
一つのMPUは、アセットIDとMPUシーケンス番号で特定できる。アセットIDは、MPUに含まれているデータを有するアセットのIDであり、MPUシーケンス番号は、MPUを含むアセット内でのMPU順序を示す。アセット内の最初のMPUのMPUシーケンス番号は0であるが、これに限定されるものではない。アセット内のMPU順にMPUシーケンス番号が決定されればよい。例えば、一つのアセットに属している異なる2つのMPUは、同一のアセットIDを有し、各々のMPUシーケンス番号は相互に異なる。連続するMPUは、MPUシーケンス番号も連続する。
図2は、本発明の一実施形態によるMPUをプレゼンテーションタイムラインにマッピングする例を示す。
MPUは、時刻に関係されるタイムドメディアデータ(timed media data)と時刻に関係されないノンタイムドメディアデータ(non-timed media data)を含む。タイムドメディアデータを含むMPUに対して、一つのパッケージは、異なるアセット間の時間軸上での関係を説明するプレゼンテーション情報を含み、MPUとプレゼンテーション情報を共に提供できる。タイムドメディアデータを含むMPUに対して、プレゼンテーションタイム情報がプレゼンテーション情報に含まれる。
MMTシステムにおけるパッケージを伝送するために、パッケージに属するMPUをネットワーク特性に従って伝送に適合した単位であるパケット単位で分離するようになる。特に、MMTシステムでは、MMTプロトコルを活用するIPネットワークを含む多様なタイプの複数のネットワークを介してメディアデータを伝送できる。
メディアデータを含んでいるMMTPパケットと共にメディアデータを伝送し消費することに対する管理のために、MMTシグナリングメッセージもMMTPパケットに分割されて伝送される。
図3は、本発明の一実施形態によるV=0であるMMTPパケットの構造を示す。
MMTPパケットは、パケットヘッダー、パケットペイロードヘッダー、及びパケットペイロードのうち少なくとも一つを含むことができる。パケットヘッダーはパケットに関する情報を含み、パケットペイロードヘッダーはパケットペイロードに関する情報を含み、パケットペイロードはメディアデータを含むことができる。
MMTPパケットは、伝送タイプ毎にパケット化されるモードが決定される。MPUモードは、ISOベースのメディアファイルフォーマットで構成されたメディアファイルをストリーミング伝送するために使用され、GFD(Generic File Delivery)モードはメディアファイルをダウンロード伝送するために使用される。
Typeは、パケットペイロードデータのタイプを意味し、次の<表1>のように定義される。
Figure 2019524011
(データタイプ及びデータユニットの定義)
packet_idは、アセットを識別する識別子を意味する。packet_idの値は、asset_idから獲得し、2個のid間の関係はMMTシグナリングメッセージを通じて配信される。
packet_sequence_numberは、同一のpacket_idを有するパケットを相互に区別可能にする。
図3のpayload dataは、パケットペイロードヘッダーとパケットペイロードを含む。パケットペイロードヘッダーについては、図4及び図5でより詳細に説明する。
図4は、本発明の一実施形態によるMPUモードのためのMMTPペイロードヘッダーの構造を示す。
図4のlengthは、lengthフィールドを除いたペイロードの長さを示す。
図4のFTは、MPUフラグメントタイプを意味する。
<表2>は、MMTPペイロードのデータが含まれているMPUフラグメントのタイプを示す。
Figure 2019524011
(データタイプ及びデータユニットの定義)
MPUフラグメントのタイプは、図6の下段に識別可能に示す。MPU metadata、fragment metadata、及びMFUは、MPUフラグメントの一種を示し、これは、<表2>のディスクリプションの内容と一致する。本発明では、一つのmoofと一つのmdatで構成された単位がムービーフラグメントを意味するので、MPUフラグメントとムービーフラグメントは区別できる。
図4のMPU_sequence_nunber(MPUシーケンス番号)は、アセット内でのMPUのシーケンス番号を示す。MPUシーケンス番号は、アセット内のMPUの位置に従って決定され、アセット内のMPUのプレゼンテーションタイムに従って決定される。さらに、MPUシーケンス番号は、MMTPを用いて伝送されるパケットの順序を意味する。
図5は、本発明の一実施形態によるタイムドメディアMFUのためのDUヘッダーを示す。
図5は、図4のDU_Headerを示す。
MPUモードのDU_Header(データユニットヘッダー)は、ムービーフラグメントシーケンス番号とサンプル番号を含む。
ムービーフラグメントシーケンス番号を利用すると、MMTPペイロードが属したMFUがメディアファイルのどのムービーフラグメントから送られたものであるかを特定できる。
サンプル番号は、MMTPペイロードに含まれているデータが属したムービーフラグメント内でどのサンプルであるかを特定できる情報である。
言い換えれば、ムービーフラグメントシーケンス番号は、MPU内のムービーフラグメントのシーケンス番号を示す。サンプル番号は、ムービーフラグメントに含まれたサンプル番号を示し、MFUは一つのサンプルを含むことができる。さらに、MFUは、一つのサブサンプルを含むことができる。サンプルは、2つ以上のサブサンプルを含むことができる。
図6は、本発明の一実施形態によるタイムドメディアのためのペイロードの生成を示す。
MPUモードでは、タイムドメディアデータがパケットに分割されて伝送される。MPUデータは、パケットに分割される過程で、図6のようにパケットからなされるMPUフラグメントで構成される。MPUフラグメントは、MPUメタデータ、フラグメントメタデータ、及びMFUを含む。MPUメタデータは、ftyp、mmpu、及びmoovを含む。さらに、MPUメタデータはsidxをさらに含む。mmpuは、アセットID(図3のpacket id)及びMPUシーケンス番号を含むことができる。moovは、コーデック設定情報を含むことができる。すなわち、メディアファイルを構成する要素をその特性に従って区別してMPUで構成するようになる。
MPUモードでは、ムービーフラグメント(moofとmdatの対)が反復される構造でストリーミングされる。ムービーフラグメントに共通に適用されなければならない情報である‘moof’及び‘mdat’のヘッダー部分(mdatでメディアデータを除いたもの)はフラグメントメタデータと定義され、‘mdat’で実際のメディアデータに対応する部分は、一つ以上のMFUとして定義される。
MPU_sequence_numberは、MMTPペイロードが属したMPUを特定する情報である。各々のMPUは、上記したようにMPUプレゼンテーションタイムが共に提供され、MPUプレゼンテーションタイム情報は、MMTシグナリングメッセージを通じて伝送される。
<表3>は、MPUタイムスタンプディスクリプタを示す。
MPUプレゼンテーションタイムは、MPUタイムスタンプディスクリプタを通じて配信されうる。
Figure 2019524011
(MPUタイプスタンプディスクリプタ)
<表3>のmpu_sequence_numberを利用すると、MPUが特定され、mpu_presentation_timeは、対応するMPUがプレゼンテーションされる時点を意味する。mpu_presentation_timeは、NTPタイムスタンプフォーマットを基準として定められる。
図7は、本発明の一実施形態によるMMTプロトコル仮想受信器モデルを示す。
MMTシステムにおいて効率的なメディアデータ伝送のために、MMT送信装置(MMT送信エンティティ、MMT送信器)が固定した端末間遅延(fixed end-to-end delay)に限定されたMMT受信装置(MMT受信エンティティ、MMT受信器)のメモリを仮定することができる。このようなメモリは、MMT仮想受信バッファと称し、これを利用したモデルをMMT仮想受信器バッファモデル(MMT HRBM)と称する。MMT HRBMは、図7のように構成することができる。FEC(Forward Error Correction)復号化バッファは、MMTシステムがFECをサポートする場合、FEC復号化のためにソースデータとリペアシンボルデータが十分に集まるまでMMTPパケットをメモリに格納しなければならないバッファに対応する。
デジッタバッファ(De-jitter Buffer)は、最大伝送遅延内に到着したMMTPパケットのみを格納することによって、MMTPパケットが固定した端末間遅延内に到着することを助けるバッファに対応する。
MMTPパケットデカプセル化バッファは、MMTPパケットペイロードデータを上位階層に送信する前にMMTPパケットヘッダーとMMTPペイロードヘッダーを除き、一つ以上のペイロードデータを組み合わせて一つのデータユニットを構成するために必要なバッファに該当する。したがって、MMTPパケットデカプセル化バッファを用いて一つのMFUペイロード、一つのムービーフラグメント、または一つのMPUデータを生成することができる。
MMT送信装置(MMT送信器)は、固定した端末間遅延とバッファサイズを予想してMMT受信装置(MMT受信器)にMMTシグナリングメッセージを用いて予想される固定した端末間遅延とバッファサイズを配信する。正確な予想のためにMMT送信装置とMMT受信装置は、関連情報を通信する。
<数式1>は、固定した末端間遅延とバッファサイズを示す。
<数式1>
fixed end-to-end delay=maximum transmission delay+FEC buffering time
buffer size=(maximum delay−minimum delay)*maximum bitrate

FEC復号化バッファが使用されない場合にはFECバッファリング時間は考慮しない。
固定した端末間遅延とバッファサイズは、HRBMメッセージに含まれ得る。HRBMメッセージは、MMTシグナリングメッセージに含まれる。
<表4>は、HRBMメッセージを示す。
Figure 2019524011
(HRBMメッセージ構文)
図8は、本発明の一実施形態によるMMT受信装置(MMT受信器)を示すブロック構成図である。
MMT受信器100は、MMTPパケット受信部101、MMTデータ再構成部102、MMT制御部103、及びメディアデータ出力部104のうち少なくとも一つを含む。
MMT受信器100は、一つ以上のプロセッサ及びメモリを含み、プロセッサは制御器でありうる。
MMTPパケット受信部101は、MMT送信器からMMTPパケットを受信する。MMTPパケットヘッダーのタイプ情報を確認してMMTPパケットに含まれたペイロードデータのタイプを区別できる。ペイロードデータのタイプがMPUである場合にはMMTデータ再構成部102に配信し、MMTシグナリングメッセージである場合にはMMT制御部103に配信する。
MMTPパケット受信部101は、名称にもかかわらず送受信器を含むことができる。
MMTデータ再構成部102及びMMT制御部103は、プロセッサを含むことができる。
MMT受信器100がMMTPパケットの受信途中でMMT送信装置とのネットワーク接続が変更される場合、MMTパケット受信部101は、現在受信したパケットIDとパケットシーケンス番号をMMT制御部103に配信することができる。
MMTデータ再構成部102は、MMTPパケット受信部101から受信したMMTPペイロードデータを一つのMMTデータに回復する。このとき、MMT制御部103から受信されたMMTシグナリングメッセージを用いてMMTデータに復元する。復元のために受信したMMTPペイロードデータは、通常は、MPUフラグメントユニット(MFU)である。
MMTデータ再構成部102は、MMT受信器のリクエストにより、1)一つのMPUを再構成する(MPUモード)度に、2)一つのムービーフラグメントを再構成する度に、3)一つのMFUを再構成する(MFUモード)度に、回復したデータをメディアデータ出力部104に配信できる。
MMT受信器100がMMTPパケットを受信中にMMT送信器とのネットワーク接続が変更される場合、MMTデータ再構成部102は、現在再構成しているペイロードデータが属するMPUのMPUプレゼンテーションタイムをMMT制御部103に伝送できる。上記したように、MPUプレゼンテーションタイムは、MPUが再生される時点を意味し、NTP(Network Time Protocol)又はUTC(Coordinated Universal Time)の形式で表現されうる。したがって、同一の条件で符号化されたメディアデータに対して異なるパケット構成過程を経てもMMT受信器での出力時点は同一である。例えば、一つの符号化されたメディアデータがMPUで構成された後、2個の異なるMMTPパケット構成方法によってMMTPパケット化して伝送されてもMMT受信器で復元されるMPUの出力時点は同一である。
MMT受信器100がMMTPパケットの受信中にMMT送信器とのネットワーク接続が変更される場合、MMTデータ再構成部102は、現在再構成しているペイロードデータが属したムービーフラグメントのムービーフラグメントシーケンス番号、サンプル番号、及びペイロードデータが含まれるMPUシーケンス番号をMMT制御部103に配信できる。
MMT制御部103は、MMT送信器200からMMTPパケット受信部101が受信したMMTPパケットのうちMMTシグナリングメッセージに対応するペイロードデータを受信する。
MMT受信器100がMMTPパケットを受信中にMMT送信器200とのネットワーク接続が変更される場合、MMT制御部103がネットワーク接続変更フラグを伝送することによって、現時点以後にMMT受信器100とMMT送信器200との間のネットワーク接続が第1のネットワークから第2のネットワークに変更されることをMMT送信器200に通知できる。ネットワークの変更が完了すると、ネットワーク変更フラグの値を変更し、変更が完了したことをMMT送信器200に通知できる。
さらに、上記したように、パケットID、パケットシーケンス番号、MPUプレゼンテーションタイム、ムービーフラグメントシーケンス番号、サンプル番号、MPUシーケンス番号のうち少なくとも一つをMMT送信装置に伝送してもよい。
メディアデータ出力部104は、再構成されたMMTデータを、アプリケーション階層を含む上位階層に配信する部分に対応する。また、メディアデータ出力部104は、ユーザーにメディアデータを示すためのすべての過程を実行できる。例えば、メディアデータ出力部104は、メディアデータを制御するプロセッサを含んでもよく、ユーザーに表示するディスプレイ装置をさらに含んでもよい。
図9は、本発明の一実施形態によるMMT送信器を示すブロック構成図である。
MMTP送信器200は、MMTPパケット生成部201、MMTパケット送信部202、MMTシグナリングメッセージパケット受信部203、及びMMT制御部204のうち少なくとも一つを含むことができる。
MMTPパケット生成部201は、MPU又はシグナリングメッセージのようなMMTデータを、MMTPを用いてMMT受信器100に伝送するようMMTPパケットを生成する。生成されたMMTPパケットは、MMTPパケット送信部202によりMMT受信器100に伝送される。
MMT受信器100と同様に、MMT送信器200とMMT受信器100とのネットワーク接続に変更が生じる場合、MMT送信器200は、ネットワーク接続変更フラグとネットワーク変更遅延を含むMMTシグナリングメッセージを生成できる。ネットワーク変更遅延は、ネットワーク接続変更にかかる時間を考慮した遅延時間を意味する。ネットワーク変更フラグとネットワーク変更遅延が変更される場合、MMTPパケット生成過程とMMTパケット送信過程も変更される。変更されたネットワーク変更フラグとネットワーク変更遅延に基づいて、MMTPパケットを第1のネットワークを介して予め伝送し、及び/又は、第2のネットワークを介して以後に伝送することができる。
MMTPパケット送信部202は、生成されたMMTPパケットをMMT受信器100に伝送する。
MMTPシグナリングメッセージパケット受信部203は、MMT受信器100からMMTシグナリングメッセージを含むMMTPパケットを受信する。
MMT受信器100と同様に、MMT受信器とのネットワーク接続が変更される場合、MMT受信装置が最後に受信したパケットを特定する情報又は最後に再構成されるMMTデータを特定する情報が受信される。対応する情報は、MMTシグナリングメッセージとしてMMT制御部204に伝送される。
MMT制御部204は、MMTシグナリングメッセージを用いて、MMTPパケット生成部201でMMTデータをパケットに変更することを制御する。特に、MMT受信器とネットワークとの接続が変更される場合、新たなネットワーク接続によりMMT送信器200が伝送を開始しなければならないMMTデータの時点を知らせる。
図10は、本発明の他の実施形態によるMMT受信装置を示すブロック構成図である。
MMT受信器300は、MMTPパケット受信部301、MMTデータ再構成部302、MMT制御部303、メディアデータ出力部304、及びネットワーク変更バッファ305のうち少なくとも一つを含む。
ネットワーク接続バッファ305は、MMT受信器300がMMTPパケットの受信中に、MMT送信器200とのネットワーク接続が第1のネットワークから第2のネットワークに変更される場合、MMT送信器200は、ネットワーク変更にかかる時間を考慮したバッファ情報をMMTシグナリングメッセージによりMMT受信器300に伝送できる。MMTシグナリングメッセージは、MMTPパケット受信部301からMMT制御部303に配信されてMMT受信器300がネットワーク接続バッファを生成可能にする。
このとき、ネットワーク接続バッファを生成するように、MMTシグナリングメッセージは、ネットワーク変更フラグとネットワーク変更遅延を含むことができる。
ネットワーク変更フラグが1である場合、MMT受信器300は、ネットワーク接続が変更されたことを予想できる。MMT送信器200は、ネットワーク接続が変更されるまで予想される遅延時間であるネットワーク変更遅延まで送信可能なパケットの個数を算出できる。算出した送信可能なパケットの個数に従って、実際に送信するパケットの個数を決定する。例えば、ネットワーク変更遅延が100msであり、100msの間に送信できるパケットが100個である場合、安全な送信のために、実際に送信するパケットを50個に設定できる。これは、事前に実験的に算出できる。また、現在送信待機中にあるパケットをさらに考慮することができる。例えば、ネットワーク変更遅延中に送信できるパケットは100個であるが、現在送信待機中にあるパケットは70個である場合には、追加に送信するパケットを生成しなくてもよい。
さらに、MMTデータ構成をさらに考慮することができる。例えば、ネットワーク変更の遅延中に送信できるパケットは100個であり、送信するパケットは50個に設定されているので、現在送信待機中であるパケットは120個であり、120個のパケットが、50個の第1のMPUのパケットと40個の第2のMPUのパケットと30個の第3のMPUのパケットで構成される場合、設定された送信するパケットの個数は50であり、すべてのパケットを伝送できないので、可能な水準で最大値を選定して(第1のMPUのパケット)、ネットワーク変更の遅延の間に第1のMPUのパケットのみを伝送し、第2のMPUのパケットと第3のMPUのパケットは伝送しないことがある。
ネットワーク変更フラグが1である場合、MMT受信器300は、MMT送信器200が通知したネットワーク変更遅延に対応するネットワーク接続バッファを準備し、ネットワーク変更フラグが0である場合、バッファを解除してメディアデータを出力するまでの時間を短縮できる。例えば、ネットワーク変更フラグが1である場合、ネットワーク変更の遅延によるネットワーク接続バッファを準備し、ネットワーク変更フラグが0である場合にはネットワーク接続バッファを使用しないようにする。
MMT受信器300は、ネットワーク変更が完了したことを識別する場合、MMT送信器200からネットワーク変更フラグを受信する前にネットワーク接続バッファを解除できる。
図10に示すように、ネットワーク接続バッファ305は、MMTPパケット受信部301の前方に位置できるが、MMTデータ再構成部302とメディアデータ出力部304との間に位置してもよい。
ネットワーク接続バッファ305は、HRBMと独立して追加的なバッファとして適用され、HRBMの一部として含まれうる。つまり、MMT送信器200とMMT受信器300との間で約束されたネットワーク接続バッファ305は、最大送信遅延、FECバッファリング時刻、及びネットワーク変更遅延を考慮して設定される。
MMTPパケット受信部301、MMTデータ再構成部302、MMT制御部303、メディアデータ出力部304は、図8のMMT受信器100の説明を参考とする。
図11は、本発明の一実施形態によるMMT受信装置とMMT送信装置の動作を示すフロー図である。
MMT送信器はMMTPパケットをMMT受信器に送信し、MMT受信器は送信されたMMTPパケットを受信することができる。
さらに、MMT受信器とMMT送信器との間でネットワーク接続設定を変更することが決定される。このとき、MMT受信器がMMT送信器にネットワーク接続設定の変更をリクエストしてもよく、反対にMMT送信器がMMT受信器にネットワーク接続設定の変更をリクエストしてもよい。
ネットワーク変更リクエストに基づいてメディア内の再伝送時点を決定できる。
さらに、MMT受信器は、MMTPシグナリングメッセージを送信し、MMT送信器は、MMTPシグナリングメッセージを受信することができる。受信されたMMTPシグナリングメッセージに基づいてネットワーク接続を変更し、MMT送信器は、変更されたネットワークを用いてMMTPパケットをMMT受信器に伝送する。
図12は、本発明の一実施形態によるMMT受信装置の動作を示すフローチャートである。
MMT受信器は、MMTPパケットを受信できる。
MMT受信器は、MPUデータとMMTシグナリングメッセージを識別する。
MMT受信器は、識別されたMPUデータとMMTシグナリングメッセージを用いてMPUデータを再構成する。再構成されたMPUデータを用いてメディアデータを出力することができる。
MMT受信器は、識別されたMMTシグナリングメッセージからネットワーク変更フラグが存在するか否かを判定する。
ネットワーク変更フラグが存在するとMMT受信器が判定した場合、ネットワーク変更フラグがネットワーク変更を指示しているか否かを識別する。
MMT受信器は、ネットワーク変更フラグが存在せず、あるいはネットワーク変更フラグがネットワーク変更を指示しない場合、ネットワーク変更が必要であるか否かを判定する。
MMT受信器は、ネットワーク変更フラグがネットワーク変更を示すか、あるいはネットワーク変更が必要であると判定した場合、ネットワーク接続の変更後に使用するメディアタイム情報を算出する。
メディアタイム情報は、第1のネットワーク及び第2のネットワークの状態と特性、MMT受信器及びMMT送信器の状態と特性を考慮して再構成するMPUデータと受信されたMMTPパケットから決定できる。
MMT受信器は、メディアタイム情報を決定した後にMMTシグナリングメッセージを生成できる。
生成されたMMTシグナリングメッセージは、MMTPを用いてパケットに変換して送信される。
図13は、本発明の他の実施形態によるMMT受信装置の動作を示すフローチャートである。
MMT受信器300は、MMTPパケットを受信できる。
MMT受信器300は、ネットワーク変更遅延を考慮してネットワーク接続バッファを設定できる。
MMT受信器300は、MMTPパケットをMMTPパケット受信部301に配信できる。
MMT受信器300は、MPUデータとMMTシグナリングメッセージを識別できる。
MMT受信器300は、識別されたMPUデータとMMTシグナリングメッセージを用いてMPUデータを再構成する。再構成されたMPUデータを用いてメディアデータを出力することができる。
MMT受信器300は、識別されたMMTシグナリングメッセージからネットワーク変更フラグが存在するか否かを判定する。
MMT受信器300がネットワーク変更フラグが存在すると判定した場合、ネットワーク変更フラグが、ネットワーク変更を指示するか否かを識別できる。
MMT受信器300は、ネットワーク変更フラグが存在せず、あるいはネットワーク変更フラグがネットワーク変更を指示しない場合、ネットワーク変更が必要であるか否かを判定できる。
MMT受信器300は、ネットワーク変更フラグがネットワーク変更を示し、あるいはネットワーク変更が必要であると判定される場合、ネットワーク変更遅延が存在するか否かを判定できる。ネットワーク変更遅延が存在する場合、ネットワーク変更遅延に基づいてネットワーク接続バッファを設定できる。設定されたネットワーク接続バッファに基づいてネットワーク接続の変更後に使用するメディアタイム情報を算出する。
メディアタイム情報は、第1のネットワーク及び第2のネットワークの状態と特性、MMT受信器及びMMT送信器の状態と特性を考慮して再構成するMPUデータと受信されたMMTPパケットから決定される。
MMT受信器300は、メディアタイム情報を決定した後にMMTシグナリングメッセージを生成できる。
生成されたMMTシグナリングメッセージは、MMTPを用いてパケットに変換されて送信される。
図14は、本発明の一実施形態によるMMT送信装置の動作を示すフローチャートである。
図14を参照すると、MMT送信装置は、伝送する最初のMMTデータを確認できる。
MMT送信器は、伝送する最初のMMTデータを確認できる。
また、MMT送信器は、MMTデータの特性を確認できる。
さらに、MMT送信器は、MPUデータとMMTシグナリングメッセージを識別できる。
MMT送信器は、識別されたMMTシグナリングメッセージからネットワーク変更フラグがネットワーク変更を示すか否かを決定できる。
MMT送信器は、ネットワーク変更フラグが存在せず、あるいはネットワーク変更フラグがネットワーク変更を示さない場合、ネットワーク変更が必要であるか否かを判定する。
MMT送信器は、ネットワーク変更フラグがネットワーク変更を示し、あるいはネットワーク変更が必要であると判定される場合、メディア伝送時点の情報が存在するか否かを判定する。
メディア伝送時点の情報が存在する場合、最初のMMTデータを確認することができる。
MMT送信器は、ネットワーク変更フラグがネットワーク変更を示し、あるいはネットワーク変更が必要であると判定される場合、第1のネットワーク及び第2のネットワークの状態と特性、MMT受信器及びMMT送信器の状態と特性を考慮してMPUデータからネットワーク変更フラグ及びネットワーク変更遅延を決定できる。
MMT送信器は、MMTシグナリングメッセージを生成できる。
MMT送信器は、識別されたMPUデータ及びMMTシグナリングメッセージからMMTPを用いてパケットに変換して送信できる。
図15は、本発明によるMMTPパケットを送受信する方法が実現されるコンピュータシステムの構成を説明するための例示図である。
一方、本発明の実施形態によるMMTシステムにおける情報を伝送する方法は、コンピュータシステム1500で実現され、あるいは記録媒体に記録され得る。図15に示したように、コンピュータシステム1500は、少なくとも一つ以上のプロセッサ1510とメモリ1520を含む。
プロセッサ1510は、CPU(中央処理装置)でもよく、あるいはメモリ1520に格納された命令語を処理する半導体装置でもよい。
プロセッサ1510は、コンピュータシステム1500のすべての動作を制御する制御器でありうる。制御器は、メモリ1520で格納されたプログラムコードを読み出して実行することによって、コンピュータシステム1500が作動する動作を実行することができる。
コンピュータシステム1500は、ユーザー入力装置1550、データ通信バス1530、及びユーザー出力装置1560のうち少なくとも一つをさらに含むことができる。上記した各々の構成要素は、データ通信バス1530を通じてデータ通信が可能である。
コンピュータシステム1500は、ネットワーク1580に接続されたネットワークインターフェース1570をさらに含むことができる。
メモリ1520は、多様な形態の揮発性又は不揮発性格納媒体を含むことができる。例えば、メモリ1520は、ROM1523及びRAM1526を含むことができる。
したがって、本発明の実施形態によるMMTシステムにおける情報を伝送する方法は、コンピュータで実行可能な方法で実現されうる。本発明の実施形態による侵入探知システムでロードバランシング方法がコンピュータ装置で実行されるとき、コンピュータで読み取り可能な命令語が本発明による方法を実行することができる。
一方、上記した本発明によるMMTシステムにおける情報を伝送する方法は、コンピュータ読み取り可能な記録媒体にコンピュータが読み出すコードで実現することができる。コンピュータ読み取り可能な記録媒体は、コンピュータシステム1500によって読み取り可能なデータが格納されているすべてのタイプの記録媒体を含む。例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、磁気テープ、磁気ディスク、フラッシュメモリ、光データ格納装置でありうる。さらに、コンピュータ読み取り可能な記録媒体は、コンピュータ通信網により接続されたコンピュータシステム1500に分散され、分散方式で読み出すコードとして格納されて実行することができる。
<表5>は、MMT遷移リクエストメッセージ(MTRメッセージ)を示す。
Figure 2019524011
MMT遷移リクエストメッセージは、MMTシグナリングメッセージの一種であって、MMT受信装置(MMT受信エンティティ、MMT受信器)がMMT送信装置(MMTエンティティ、MMT送信器)に送るものである。
MMT遷移リクエストメッセージは、パッケージの配信経路を変更する場合に使用される。
例えば、MMT受信器は、LTE使用中にデータ限度を考慮してWi-Fiでネットワーク接続を変更できる。使用するネットワークインターフェースが変更される場合、MMT受信器からMMT送信器までの配信経路が変更される。
MMT受信器が現在使用中であるネットワーク情報(origin_address、origin_port_number)と変更されるネットワーク情報(transition_address、transition_port_number)をMMT送信器に配信する場合、MMT送信器は、変更するネットワーク情報を知ることができる。origin_addressは、MMT受信器の変更前IPアドレスを意味する。origin_port_numberは、MMT受信器の変更前ポート番号を意味する。一方、transition_addressとtransition_port_numberは、それぞれ、ネットワーク変更以後のMMT受信器のIPアドレス及びポート番号を意味する。
さらに、MMT受信器は、パケットID(packet_id)、パケットシーケンス番号(packet_sequence_number)、MPUシーケンス番号(MPU_sequence_number)、MPUプレゼンテーションタイム(MPU_presentation_time)、ムービーフラグメントシーケンス番号(movie_fragment_sequence_number)、サンプル番号(sample_number)をMMT送信器に伝送する。配信経路が変更された後に、MMT送信器は、MMT受信器に次いで伝送するMPU、ムービーフラグメント、サンプルを決定し、決定したMPU、ムービーフラグメント、及びサンプルを伝送する。
高速な伝送速度のために、2以上のアセットに対して、同時にメディアデータを受信することができる。このとき、MTRメッセージは、2以上のアセットの各々のpacket_id、packet_sequence_number、mpu_sequence_number、mpu_presentation_time、movie_fragment_sequence_number、及びsample_numberを2以上のアセットの個数だけ含むことができる。MMT受信器は、各アセットに対してネットワーク接続変更後に受信されたデータを続いて受信することができる。
<表6>は、MMT遷移通知(MTN)メッセージを示す。
Figure 2019524011
MMT遷移通知メッセージは、MMTシグナリングメッセージの一種であって、MMT送信装置(MMT送信エンティティ、MMT送信器)がMMT受信装置(MMT受信エンティティ、MMT受信器)に送信するものである。
MMT送信器は、MMT受信器からMTRメッセージを受信し、これに対する応答でMTNメッセージを送信できるが、MMT受信器からMTRメッセージを受信しなくても、MMT送信器が配信経路を変更しようとする場合にMTNメッセージをMMT受信器に送信できる。
MMT配信経路が変更された後に伝送するパッケージ、アセット、MPU(Media Processing Unit)、ムービーフラグメント、及びサンプルに関する情報がMTNメッセージに含まれる。但し、MMT受信器は、受信したメディアデータに基づいて、MTRメッセージに含まれたpacket_id、packet_sequence_number、mpu_sequence_number、movie_fragment_sequence_number、sample_numberを直接算出できる。MMT送信器は、MMT受信器から受信したMTRメッセージに含まれた情報を用いてMTNメッセージを生成できる。
MMT送信器は、遷移時間を考慮して、パッケージ、アセット、パケット、サンプルに関する情報を設定できる。遷移時間は、ネットワーク接続を変更するのにかかる遅延を考慮して遷移時間を決定する。すなわち、ネットワーク接続が変更されるのにかかる遅延を考慮して、変更前ネットワークを介して伝送可能なパケットの量を予測し、packet_sequence_number、mpu_sequence_number、movie_fragment_sequence_number、sample_numberの値を設定してMTNメッセージを生成する。MMT送信器は、生成されたMTNメッセージをMMT受信器に送信し、MMT受信器が設定されたpacket_sequence_number、mpu_sequence_number、movie_fragment_sequence_number、sample_numberまでのパケットを受信した後、ネットワーク接続を変更し、変更したネットワーク接続を用いて次いでパケットを受信することができる。
MMT送信器も設定された値によってパケットを送信し、ネットワーク接続が変更された後に変更されたネットワーク接続を通じてパケットを続いて送信できる。
さらに、MMT送信器は、他のMMT送信器に責任をハンドオーバーすることができる。MMT送信器は、MMT受信器に他のMMT送信器の位置情報を提供することによって、MMT受信器が他のMMT送信器とネットワーク接続を確立可能にする。
MTNメッセージは、最後に受信したデータに関する情報を用いて遷移時間を定義する。遷移時間は、3種類の情報から記述される。3種類の情報は、パケット、MPU、及びサンプルである。遷移時間は、MTRメッセージとMTNメッセージを用いて決定できる。遷移時間は、MMT装置(MMTエンティティ)間に接続が再設定されることを理由として、伝送中であるメディアが再伝送される時点を意味する。言い換えれば、新たな配信経路を通じて配信される開始時刻を意味し、これは、元の配信経路を通じて配信される終了時刻と同一である。
遷移時間を正確に予測可能であれば、ネットワーク接続が変更されるパケット、MPU、サンプルの伝送スケジュールをより正確に予定し、データを反復伝送するようになる。
遷移時間を精密に予測するために、MMT受信装置は、MMT送信装置にアセット、パケット、サンプルなどに関する追加情報を伝送できる。パケット化の段階であれば、パケットIDとパケットシーケンス番号が遷移時間を予測するのに助けになる。MPUを生成する段階であれば、MPUシーケンス番号とMPUプレゼンテーションタイムが遷移時間を予測するのに助けになる。MPUシーケンス番号とMPUプレゼンテーションタイムは、パケット化特性とMPU構成特性が異なっても、MPU単位で正確な位置測定が可能である。同一の符号化を使用する場合、MMTPでなく他のプロトコルを使用しても正確な位置測定が可能である。ムービーフラグメントまで生成した状態であれば、MPUシーケンス番号、ムービーフラグメントシーケンス番号、サンプル番号を用いて遷移時間を予測できる。符号化されたメディア基準で定められた時点なので、伝送プロトコルやMMTシステムと関係なくメディアの位置を正確にわかり、これを用いて遷移時間を正確に予測することができる。特に、MPUプレゼンテーションタイムは、特定MPUの開始時刻を絶対単位で表示するため(NTP又はUTC時間)、MPU水準の絶対基準を設定することができる。
最後に受信したパケットは、パケットID(packet_id)とパケットシーケンス番号によって識別できる。最後に受信したMPUは、MPUシーケンス番号によって識別できる。
しかしながら、MMTPパケット化とMPUカプセル化の規則は遷移後には継続されない。
データ観点で遷移時間を指示する追加情報が必要である。それによって、MPUプレゼンテーションタイムは、最後に受信したMPUをより正確に提供する。さらに、遷移中にMMT装置は、パッケージ位置が変更される場合に有用である。
さらに、MMT受信装置とMMT送信装置は、元の配信経路を通じて配信される最後のサンプルを指示できる。パケットとMPUが識別された後に最後に受信したサンプルは、ムービーフラグメントシーケンス番号とサンプル番号によって識別される。MPU中間で遷移が実行される場合に有用である。HRBMのバッファと同一に処理されるバッファをフラッシング(flushing)せず、MMT受信装置は、以前のサンプルを用いて最後のMPUを再構成できる。伝送プロトコルの性質が変わるとき、精密で絶対的な遷移点はサンプル水準の情報で提供されうる。本発明により、データトラフィックと処理時間を節約することができる。
図16は、本発明によるMMT受信装置とMMT送信装置を含むMMTPネットワークシステムを説明するための例示図である。
MMTPネットワークシステムは少なくとも一つのMMT受信装置と少なくとも一つのMMT送信装置を含む。
MMT受信装置はMMTサービスが提供されるクライアントであり、MMT送信装置はMMTサービスが提供されるサーバでありうる。MMT受信装置とMMT送信装置は、両方ともプロセッサとメモリを含むコンピュータシステムでありうる。
本発明によるMMTPパケットを送受信するMMT受信装置は、MMTPパケットを送受信するためのプログラムが格納されたメモリ、及びプログラムを実行させるプロセッサを含み、プロセッサは、プログラムを実行させることによって、MMTPパケットを送受信するために、MMT送信装置とネットワーク接続を確立し、第1のMMTシグナリングメッセージを生成し、生成した第1のMMTシグナリングメッセージを第1のMMTPパケットに変換し、確立されたネットワーク接続を通じて第1のMMTPパケットを送信し、確立されたネットワーク接続を通じて第2のMMTPパケットを受信し、第2のMMTPパケットを用いて第2のMMTシグナリングメッセージを生成し、第3のMMTPパケットを受信し、第3のMMTPパケットと第2のMMTシグナリングメッセージを用いてMPUデータを再構成し、プロセッサにより第3のMMTPパケットを受信することは、第2のMMTシグナリングメッセージに基づいて変更されたネットワーク接続を確立し、変更されたネットワーク接続を通じて第3のMMTPパケットを受信することである。
本発明によるMMTPパケットを送受信するMMT送信装置は、MMTPパケットを送受信するためのプログラムが格納されたメモリ、及びプログラムを実行させるプロセッサを含み、プロセッサは、プログラムを実行させることによって、MMTPパケットを送受信するためにMMT受信装置とネットワーク接続を確立し、第1のMMTPパケットを受信し、第1のMMTPパケットを用いて第1のMMTシグナリングメッセージを再構成し、第1のMMTシグナリングメッセージに基づいて第2のMMTシグナリングメッセージを生成し、第2のMMTシグナリングメッセージを変換した第2のMMTPパケットを送信し、第2のMMTシグナリングメッセージに基づいて第3のMMTPパケットを送信し、プロセッサにより第3のMMTPパケットを送信することは、第2のMMTシグナリングメッセージに基づいて変更されたネットワーク接続を確立し、変更されたネットワーク接続を通じて第3のMMTPパケットを送信することである。
図17は、本発明によるMMTPパケットを送受信する方法を示すフローチャートである。
本発明に係るMMT受信装置によるMMTPパケットを送受信する方法は、MMT受信装置が、MMTPパケットを送受信するためにMMT送信装置とネットワーク接続を確立するステップ、及び確立したネットワーク接続を通じてMMTPパケットを送受信するステップを有する。
本発明に係るMMT送信装置によるMMTPパケットを送受信する方法は、MMT受信装置が、MMTPパケットを送受信するためにMMT受信装置とネットワーク接続を確立するステップ、及び確立したネットワーク接続を通じてMMTPパケットを送受信するステップを有する。
ネットワーク接続を確立するために、通常、MMT受信装置がMMT送信装置にネットワーク接続をリクエストしてセッションを確立することによってMMT受信装置とMMT送信装置との間でネットワークが接続される。
但し、MMT受信装置とMMT送信装置との間でネットワーク接続が確立(established)できた状態では、前記MMT送信装置のネットワーク接続を変更する通知(notification)によってネットワーク接続を変更できる。
このとき、MMT送信装置は、遷移時間(transition time)を設定することによって、特定時刻にネットワーク接続が変更されるようにネットワーク接続の変更を通知できる。遷移時間は、通常のネットワーク接続を変更するのに必要とする遅延を考慮し、遅延期間の間に送信可能なMMTPパケットの個数を算出し、MMTPパケットをMMT受信装置に送信することができる。
図18は、本発明のMMT受信装置によるMMTPパケットを送受信する方法を示す具体的なフローチャートである。
MMT受信装置によるMMTPパケットを送受信する方法であって、MMT受信装置は、MMTPパケットを送受信するために、MMT送信装置とネットワーク接続を確立するステップと、第1のMMTシグナリングメッセージを生成するステップと、生成された第1のMMTシグナリングメッセージを第1のMMTPパケットに変換するステップと、確立されたネットワーク接続を通じて第1のMMTPパケットを送信するステップと、確立されたネットワーク接続を通じて第2のMMTPパケットを受信するステップと、第2のMMTPパケットを用いて第2のMMTシグナリングメッセージを生成するステップと、第3のMMTPパケットを受信するステップと、第3のMMTPパケットと第2のMMTシグナリングメッセージを用いてMPUデータを再構成するステップとを有し、第3のMMTPパケットを受信するステップは、第2のMMTシグナリングメッセージに基づいて変更されたネットワーク接続を確立するステップと、変更されたネットワーク接続を通じて第3のMMTPパケットを受信するステップを有する。
第1のMMTシグナリングメッセージは、MMTネットワーク接続を変更することをリクエストするメッセージであり、第2のMMTシグナリングメッセージは、第1のMMTシグナリングメッセージのリクエストに従ってネットワーク接続が変更されることを通知するメッセージであり、第3のMMTPパケットは、第1のMMTシグナリングメッセージのリクエストに従って変更されたネットワーク接続を通じて受信されるパケットでありうる。
第1のMMTシグナリングメッセージは、IPアドレス、ポート番号、パケットID、パケットシーケンス番号、MPUシーケンス番号、及びMPUプレゼンテーションタイムを含むことができる。すなわち、第1のMMTシグナリングメッセージは、上記したMTR (MMT Transition Request)メッセージでありうる。
IPアドレスとポート番号は、変更するMMT受信装置のネットワーク接続情報に関連され、パケットIDはアセットを特定し、パケットシーケンス番号は一つのアセット内のパケットを特定し、MPUシーケンス番号は一つのアセット内のMPUを特定し、MPUプレゼンテーションタイムは、MPUシーケンス番号が特定するMPUをプレゼンテーションする時刻でありうる。MPUプレゼンテーションタイムは、NTP又はUTC形式で作成されて絶対時刻を示す。
第1のMMTシグナリングメッセージは、ムービーフラグメントシーケンス番号及びサンプル番号をさらに含んでもよい。
ムービーフラグメントシーケンス番号は一つのアセット内のムービーフラグメントを特定し、サンプル番号はMPUシーケンス番号が特定するMPU内のサンプルを特定する。
パケットIDから伝送中であるMMTPパケットが含まれたアセットを特定し、MPUシーケンス番号から伝送中であるMMTPパケットが含まれるMPUを特定したアセットから何番目のMPUであるかを特定することができる。また、ムービーフラグメントシーケンス番号とサンプル番号から特定MPUのどのMFUに含まれたサンプルであるかを特定するようになる。
MMTプロトコル(MMTP)によってMPEGメディアデータは、アセット-MPU-サンプルの階層に従ってパケット化する方法が標準となっているので、パケットID、MPUシーケンス番号、ムービーフラグメントシーケンス番号、及びサンプル番号から伝送するMMTPパケットの位置を正確に算出できる。MTRメッセージを用いてMMT受信装置がMMT送信装置にパケットID、MPUシーケンス番号、ムービーフラグメントシーケンス番号、及びサンプル番号を伝送することによってMMT送信装置が送信するMMTPパケットを正確に指示できる。
第2のMMTシグナリングメッセージは、IPアドレス、ポート番号、遷移時間、パケットID、パケットシーケンス番号、MPUシーケンス番号、及びMPUプレゼンテーション番号を含むことができる。第2のMMTシグナリングメッセージは、ムービーフラグメントシーケンス番号及びサンプル番号をさらに含むことができる。すなわち、第2のMMTシグナリングメッセージは、MTN(MMT Transition Notification)メッセージでありうる。
MMT送信装置は、MTRメッセージを受信して適切にMMTPパケットを送信することができるが、MMT受信装置は、MTRメッセージを送信する以前まで受信したMMTPパケットに関する情報のみをMTRメッセージとして提供するので、ネットワーク接続を変更するのにかかる遅延時間を考慮して遷移時間を算出し、遷移時間となるまで、MTRメッセージから獲得した情報を用いて遅延時間で送信できるMMTPパケットを算出し、これを考慮して変更されたMTNメッセージを送信することができる。但し、MMT送信装置が予想したMMTPパケットをMMT受信装置がすべて受信しない場合、MMT受信装置は、最後に受信したMMTPパケット情報をMTRメッセージに含めてMTRメッセージを再伝送することができる。MTRメッセージもMMTPに従ってMMTPパケットに配信される。このとき、MMT受信装置が送信するMTRメッセージの構文(syntax)は同一であるが、アドレス情報であるIPアドレスとポート番号は、現在接続されているネットワーク情報をそのまま利用できる。すなわち、MTRメッセージは、FEC(Forward Error Correction)を利用する代わりに、MMTPパケットを再伝送することにより、データの完全性(integrity)を維持させ得る。すなわち、IPアドレス及びポート番号が同一のMTRメッセージを受信する場合、MMT送信装置は、遷移時間を除き、MTRメッセージの情報のみに基づいて送信するMMTPパケットを決定することができる。
本発明を参照すれば、MMT送信装置によるMMTPパケットを送受信する方法が理解できる。
図19は、本発明のMMT送信装置によるMMTPパケットを送受信する方法を示すフローチャートである。
MMT送信装置によるMMTPパケットを送受信する方法は、MMT送信装置が、MMTPパケットを送受信するためにMMT受信装置とネットワーク接続を確立するステップと、第1のMMTPパケットを受信するステップと、第1のMMTPパケットを用いて第1のMMTシグナリングメッセージを再構成するステップと、第1のMMTシグナリングメッセージに基づいて第2のMMTシグナリングメッセージを生成するステップと、第2のMMTシグナリングメッセージを変換した第2のMMTPパケットを送信するステップと、第2のMMTシグナリングメッセージに基づいて第3のMMTPパケットを送信するステップとを有し、第3のMMTPパケットを送信するステップは、第2のMMTシグナリングメッセージに基づいて変更されたネットワーク接続を確立するステップと、変更されたネットワーク接続を通じて第3のMMTPパケットを送信するステップを有する。
第1のMMTシグナリングメッセージは、MMTネットワーク接続の変更をリクエストするメッセージであり、第2のMMTシグナリングメッセージは、第1のMMTシグナリングメッセージのリクエストに従ってネットワーク接続が変更されることを通知するメッセージであり、第3のMMTPパケットは、第1のMMTシグナリングメッセージのリクエストに従って変更されたネットワーク接続を通じて受信されるパケットでありうる。
第1のMMTシグナリングメッセージは、IPアドレス、ポート番号、パケットID、パケットシーケンス番号、MPUシーケンス番号、及びMPUプレゼンテーションタイムを含むことができる。
第1のMMTシグナリングメッセージは、ムービーフラグメントシーケンス番号及びサンプル番号をさらに含むことができる。
ムービーフラグメントシーケンス番号は、一つのアセット内のムービーフラグメントを特定し、サンプル番号はMPUシーケンス番号が特定するMPU内のサンプルを特定することができる。
第2のMMTシグナリングメッセージは、IPアドレス、ポート番号、遷移時間、パケットID、パケットシーケンス番号、MPUシーケンス番号、及びMPUプレゼンテーション番号を含むことができる。
第2のMMTシグナリングメッセージは、ムービーフラグメントシーケンス番号及びサンプル番号をさらに含むことができる。
マルチメディアサービスにおける送信装置によるパケットを送受信する方法は、第1のシグナリングメッセージを生成するステップと、第1のシグナリングメッセージをパケット化した第1のパケットを送信するステップと、第1のシグナリングメッセージに基づいて第2のパケットを送信するステップとを有し、第2のパケットを送信するステップは、第1のシグナリングメッセージに基づいてネットワーク接続を変更するステップと、変更されたネットワーク接続を通じて第2のパケットを送信するステップを有する。第1のシグナリングメッセージは、変更されたネットワーク接続に関連したIPアドレス及びポート番号を含み、第1のシグナリングメッセージは、変更されたネットワーク接続が適用される時点である遷移時間、パケットが含まれたアセットを特定するパケットID、アセット内のパケットを特定するパケットシーケンス番号、アセット内のMPUを特定するMPUシーケンス番号、及び特定したMPUを特定するMPUプレゼンテーションタイムのうち少なくとも一つを含む。
第1のシグナリングメッセージは、サンプルが属したムービーフラグメントのシーケンス番号を指示するムービーフラグメントシーケンス番号及びムービーフラグメント内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含む。
マルチメディアサービスにおける送信装置によるパケットを送受信する方法は、第3のパケットを受信するステップと、第3のパケットをデパケット化して第2のシグナリングメッセージを再構成するステップとをさらに有し、第1のシグナリングメッセージを生成するステップは、第2のシグナリングメッセージに基づいて第1のシグナリングメッセージを生成するステップである。
第2のシグナリングメッセージは、ネットワーク接続を変更することをリクエストするメッセージであって、第1のシグナリングメッセージは、第2のシグナリングメッセージのリクエストによってネットワーク接続が変更されることを通知するメッセージであり、第2のパケットは、第2のシグナリングメッセージのリクエストによって変更されたネットワーク接続を通じて受信されるパケットでありうる。
第2のシグナリングメッセージは、変更されたネットワーク接続に関連したIPアドレス、ポート番号を含むことができる。
第2のシグナリングメッセージは、パケットが含まれたアセットを特定するパケットID、アセット内のパケットを特定するパケットシーケンス番号、アセット内のMPUを特定するMPUシーケンス番号、及び特定したMPUを特定するMPUプレゼンテーションタイムのうち少なくとも一つを含むことができる。
第2のシグナリングメッセージは、サンプルが属したムービーフラグメントのシーケンス番号を指示するムービーフラグメントシーケンス番号及びムービーフラグメント内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含む。
第1のシグナリングメッセージを生成するステップは、ネットワーク接続を変更するために要求される遅延時間を考慮して遷移時間を決定するステップ、及び決定された遷移時間と第2のシグナリングメッセージに基づいて第1のMMTシグナリングメッセージを生成するステップを有する。
第2のパケットを送信するステップは、ネットワーク接続を変更するまで、変更前ネットワーク接続を用いて、第1のMMTシグナリングメッセージに基づいて第2のパケットを送信するステップと、遷移時間に到達する場合にネットワーク接続を変更するステップと、変更されたネットワーク接続を通じて続いて第2のパケットを送信するステップを有する。
マルチメディアサービスにおける受信装置によるパケットを送受信する方法は、第1のシグナリングメッセージを生成するステップと、生成された第1のシグナリングメッセージを第1のパケットにパケット化するステップと、第1のパケットを送信するステップとを含むことができる。
第1のシグナリングメッセージは、変更するネットワーク接続情報に関連したIPアドレス、ポート番号を含むことができる。
第1のシグナリングメッセージは、アセットを特定するパケットID、アセット内のパケットを特定するパケットシーケンス番号、アセット内のMPUを特定するMPUシーケンス番号、及びMPUシーケンス番号が特定するMPUのプレゼンテーションする時刻であるMPUプレゼンテーションタイムのうち少なくとも一つを含むことができる。
第1のシグナリングメッセージは、アセット内のムービーフラグメントを特定するムービーフラグメントシーケンス番号及びMPU内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含むことができる。
マルチメディアサービスにおける受信装置によるパケットを送受信する方法は、第2のパケットを受信するステップと、第2のパケットを利用して第2のシグナリングメッセージを生成するステップと、第3のパケットを受信するステップと、第3のパケットと第2のシグナリングメッセージを用いてMPUデータを再構成するステップとをさらに有することができる。
第1のシグナリングメッセージは、ネットワーク接続を変更するリクエストメッセージでありうる。
第2のシグナリングメッセージは、第1のシグナリングメッセージのリクエストによる通知メッセージでありうる。
第3のパケットは、第1のシグナリングメッセージのリクエストによって変更されたネットワーク接続を通じて受信されるパケットでありうる。
第3のパケットを受信するステップは、第2のシグナリングメッセージに基づいてネットワーク接続を変更するステップと、変更されたネットワーク接続を通じて第3のパケットを受信するステップを有する。
第2のMMTシグナリングメッセージは、変更されたネットワーク接続が適用される時点である遷移時間、パケットが含まれたアセットを特定するパケットID、アセット内のパケットを特定するパケットシーケンス番号、アセット内のMPUを特定するMPUシーケンス番号、及び特定したMPUを特定するMPUプレゼンテーションタイムのうち少なくとも一つを含むことができる。
第2のシグナリングメッセージは、サンプルが属したムービーフラグメントのシーケンス番号を指示するムービーフラグメントシーケンス番号及びムービーフラグメント内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含むことができる。
上記した動作は、該当プログラムコードを格納したメモリ装置を通信システムのエンティティ、機能、AP(Access Point)、サーバ、又は端末装置内の任意の構成部に具備することによって実現できる。すなわち、エンティティ、機能、AP、サーバ、又は端末装置の制御部は、メモリ装置内に格納されたプログラムコードをプロセッサ又はCPU(Central Processing Unit)により読み出して実行することで上記した動作を実行できる。
本発明で説明するエンティティ、機能、APP、サーバ、または端末装置の多様な構成部、及びモジュールは、ハードウェア回路、例えば相補型金属酸化膜半導体ベースの論理回路(CMOS論理回路)、ファームウェア、ソフトウェア、及び/又はハードウェアとファームウェア及び/又は機械読み取り可能な媒体に挿入されたソフトウェアの組合せのようなハードウェア回路を用いて動作することもできる。例えば、多様な電気構造及び方法は、トランジスタ、論理ゲート、カスタム半導体のような電気回路を利用して実施できる。
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲を逸脱しない限り、様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。したがって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。

Claims (15)

  1. 第1のシグナリングメッセージを受信するステップを有し、
    前記第1のシグナリングメッセージは、変更されたネットワーク接続に関連したインターネットプロトコル(IP)アドレス及びポート番号、各アセットに含まれるパケットのパケット識別子(ID)、前記アセット内のパケットを特定するパケットシーケンス番号、前記アセット内のMPUを特定するメディアプロセッシングユニット(MPU)シーケンス番号、及び前記特定したMPUを特定するMPUプレゼンテーションタイムのうち少なくとも一つを含むことを特徴とする送信装置の方法。
  2. 前記第1のシグナリングメッセージは、サンプルが属したムービーフラグメントシーケンス番号を指示するムービーフラグメントシーケンス番号及びムービーフラグメント内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含むことを特徴とする請求項1に記載の送信装置の方法。
  3. 第2のシグナリングメッセージを送信するステップをさらに有し、
    前記第2のシグナリングメッセージは、変更されるネットワーク接続に関連したインターネットプロトコル(IP)アドレス及びポート番号を含み、
    前記第2のシグナリングメッセージは、前記第1のシグナリングメッセージのリクエストに応答して通知されることを特徴とする請求項1に記載の送信装置の方法。
  4. 前記第2のシグナリングメッセージは、各アセットに含まれるパケットのパケット識別子(ID)、変更されたネットワーク接続が適用される時点である遷移時間、各アセットに含まれるパケットのパケット識別子(ID)、前記アセット内のパケットを特定するパケットシーケンス番号、前記アセット内のMPUを特定するMPUシーケンス番号、及び前記特定したメディアプロセッシングユニット(MPU)を特定するMPUプレゼンテーションタイムのうち少なくとも一つを含むことを特徴とする請求項3に記載の送信装置の方法。
  5. 前記第2のシグナリングメッセージは、サンプルが属するムービーフラグメントのシーケンス番号を指示するムービーフラグメントシーケンス番号及びムービーフラグメント内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含むことを特徴とする請求項4に記載の送信装置の方法。
  6. 第2のシグナリングメッセージを送信するステップを有し、
    前記第2のシグナリングメッセージは、変更されるネットワーク接続に関連したインターネットプロトコル(IP)アドレス及びポート番号、各アセットに含まれるパケットのパケット識別子(ID)、変更されたネットワーク接続が適用される時点である遷移時間、各アセットに含まれるパケットのパケット識別子(ID)、前記アセット内のパケットを特定するパケットシーケンス番号、前記アセット内のメディアプロセッシングユニット(MPU)を特定するMPUシーケンス番号、及び前記特定したMPUを特定するMPUプレゼンテーションタイムのうち少なくとも一つを含むことを特徴とする送信装置の方法。
  7. 前記第2のシグナリングメッセージは、サンプルが属するムービーフラグメントのシーケンス番号を指示するムービーフラグメントシーケンス番号及びムービーフラグメント内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含むことを特徴とする請求項6に記載の送信装置の方法。
  8. 請求項1乃至請求項7のいずれか1項に記載の方法を実行することを特徴とする送信装置。
  9. 第1のシグナリングメッセージを送信するステップを有し、
    前記第1のシグナリングメッセージは、変更されるネットワーク接続に関連したインターネットプロトコル(IP)アドレス及びポート番号、各アセットに含まれるパケットのパケット識別子(ID)、各アセットに含まれるパケットのパケット識別子(ID)、前記アセット内のパケットを特定するパケットシーケンス番号、前記アセット内のメディアプロセッシングユニット(MPU)を特定するMPUシーケンス番号、及び前記特定したMPUを特定するMPUプレゼンテーションタイムのうち少なくとも一つを含むことを特徴とする受信装置の方法。
  10. 前記第1のシグナリングメッセージは、サンプルが属するムービーフラグメントのシーケンス番号を指示するムービーフラグメントシーケンス番号及びムービーフラグメント内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含むことを特徴とする請求項9に記載の受信装置の方法。
  11. 第2のシグナリングメッセージを受信するステップをさらに有し、
    前記第2のシグナリングメッセージは、変更されるネットワーク接続に関連したインターネットプロトコル(IP)アドレス及びポート番号、各アセットに含まれるパケットのパケット識別子(ID)、変更されたネットワーク接続が適用される時点である遷移時間、各アセットに含まれるパケットのパケット識別子(ID)、前記アセット内のパケットを特定するパケットシーケンス番号、前記アセット内のメディアプロセッシングユニット(MPU)を特定するMPUシーケンス番号、及び前記特定したMPUを特定するMPUプレゼンテーションタイムのうち少なくとも一つを含むことを特徴とする請求項9に記載の受信装置の方法。
  12. 前記第2のシグナリングメッセージは、サンプルが属するムービーフラグメントのシーケンス番号を指示するムービーフラグメントシーケンス番号及びムービーフラグメント内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含むことを特徴とする請求項11に記載の受信装置の方法。
  13. 第2のシグナリングメッセージを受信するステップを有し、
    前記第2のシグナリングメッセージは、変更されたネットワーク接続に関連したインターネットプロトコル(IP)アドレス及びポート番号、各アセットに含まれるパケットのパケット識別子(ID)、変更されたネットワーク接続が適用される時点である遷移時間、各アセットに含まれるパケットのパケット識別子(ID)、前記アセット内のパケットを特定するパケットシーケンス番号、前記アセット内のメディアプロセッシングユニット(MPU)を特定するMPUシーケンス番号、及び前記特定したMPUを特定するMPUプレゼンテーションタイムのうち少なくとも一つを含むことを特徴とする受信装置の方法。
  14. 前記第2のシグナリングメッセージは、サンプルが属するムービーフラグメントのシーケンス番号を指示するムービーフラグメントシーケンス番号及びムービーフラグメント内のサンプルを特定するサンプル番号のうち少なくとも一つをさらに含むことを特徴とする請求項13に記載の受信装置の方法。
  15. 請求項9乃至請求項14のいずれか1項に記載の方法が採択されることを特徴とする受信装置。
JP2018562067A 2016-05-26 2017-05-26 Mmtpパケットを送受信する方法及びその装置 Active JP6970124B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160065059A KR102421791B1 (ko) 2016-05-26 2016-05-26 Mmt 네트워크 시스템에서 미디어 시간 정보를 전송 하는 방법 및 장치
KR10-2016-0065059 2016-05-26
PCT/KR2017/005554 WO2017204601A1 (ko) 2016-05-26 2017-05-26 Mmtp 패킷을 송수신하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
JP2019524011A true JP2019524011A (ja) 2019-08-29
JP6970124B2 JP6970124B2 (ja) 2021-11-24

Family

ID=60411410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562067A Active JP6970124B2 (ja) 2016-05-26 2017-05-26 Mmtpパケットを送受信する方法及びその装置

Country Status (5)

Country Link
US (1) US10880586B2 (ja)
JP (1) JP6970124B2 (ja)
KR (1) KR102421791B1 (ja)
CN (1) CN109196870B (ja)
WO (1) WO2017204601A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266330A (ja) * 2003-01-30 2004-09-24 Matsushita Electric Ind Co Ltd 通信端末装置及びその制御方法
EP1675343A1 (en) * 2004-12-23 2006-06-28 Siemens S.p.A. Method and system to minimize the switching delay between two RTP multimedia streaming sessions
JP2012518969A (ja) * 2009-02-24 2012-08-16 マニュファクチャリング・リソーシズ・インターナショナル・インコーポレーテッド 複数の固有のビデオ/オーディオストリームを配信するシステム
US20130297817A1 (en) * 2011-01-19 2013-11-07 Electronics And Telecommunications Research Institute Method and apparatus for transmitting media content via a single port or multiple ports
JP2014168129A (ja) * 2013-02-28 2014-09-11 Kddi R & D Laboratories Inc ネットワーク切替情報通知装置およびコンピュータプログラム
JP2015029295A (ja) * 2008-07-02 2015-02-12 オパンガ ネットワークス インコーポレイテッド トランスペアレンシー機能を用いる適応ファイル送達のシステムおよび方法
KR20150047082A (ko) * 2013-10-23 2015-05-04 한국전자통신연구원 Mmt 페이로드 헤더 구성 장치 및 방법
JP2015192407A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
WO2016072345A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162542B2 (en) * 2000-04-13 2007-01-09 Intel Corporation Cascading network apparatus for scalability
US6732175B1 (en) * 2000-04-13 2004-05-04 Intel Corporation Network apparatus for switching based on content of application data
US8214422B1 (en) * 2001-08-19 2012-07-03 The Directv Group, Inc. Methods and apparatus for sending content between client devices
US20020161907A1 (en) 2001-04-25 2002-10-31 Avery Moon Adaptive multi-protocol communications system
US7600040B1 (en) * 2002-06-27 2009-10-06 At&T Corp. Buffering packets destined for a mobile device while the mobile device moves from one network to another network to prevent handoff packet loss
JP4743239B2 (ja) * 2008-08-22 2011-08-10 ソニー株式会社 無線通信装置、通信システム、および通信制御方法、並びにプログラム
US8166179B2 (en) * 2009-01-30 2012-04-24 Cisco Technology, Inc. Media streaming through a network address translation (NAT) device
EP2730052A4 (en) * 2011-07-08 2015-02-25 Samsung Electronics Co Ltd METHOD FOR GENERATING A FORWARD ERROR CORRECTION PACKAGE IN A MULTIMEDIA SYSTEM AND METHOD AND DEVICE FOR SENDING AND RECEIVING FORWARD ERROR CORRECTION PACKAGES
KR20130009670A (ko) * 2011-07-13 2013-01-23 연세대학교 원주산학협력단 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
CN109068155B (zh) * 2011-09-23 2021-01-26 韩国电子通信研究院 传送媒体数据的设备以及接收媒体数据的设备
KR20130040132A (ko) * 2011-10-13 2013-04-23 한국전자통신연구원 이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법
KR101995221B1 (ko) * 2011-11-24 2019-07-16 삼성전자주식회사 통신 시스템에서 패킷 송수신 장치 및 방법
KR101947000B1 (ko) * 2012-07-17 2019-02-13 삼성전자주식회사 방송 시스템에서 멀티미디어 데이터의 전송 특징 정보 전달 방법 및 장치
KR102163338B1 (ko) * 2012-10-11 2020-10-08 삼성전자주식회사 방송 및 통신 시스템에서 패킷 송수신 장치 및 방법
JP5641090B2 (ja) * 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR101767913B1 (ko) * 2013-03-29 2017-08-14 브이아이디 스케일, 인크. 조기 패킷 손실 검출 및 피드백
KR102127672B1 (ko) * 2013-04-18 2020-06-29 삼성전자주식회사 멀티미디어 전송 네트워크에서 미디어 전송의 제어 방법 및 장치
KR101484843B1 (ko) * 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
US20150032845A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
KR20160005663A (ko) * 2014-07-07 2016-01-15 한국전자통신연구원 저지연 서비스를 위한 mmt 장치 및 방법
WO2016126116A1 (ko) * 2015-02-04 2016-08-11 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US9872063B2 (en) * 2015-03-01 2018-01-16 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method of transmitting broadcast signals and method of receiving broadcast signals
US9888426B2 (en) * 2015-05-01 2018-02-06 Qualcomm Incorporated Handoff for satellite communication
US9762314B2 (en) * 2015-05-01 2017-09-12 Qualcomm Incorporated Handoff for non-geosynchronous satellite communication
KR102380285B1 (ko) 2015-10-14 2022-03-30 삼성전자주식회사 멀티미디어 시스템에서 패킷을 송/수신하는 방법 및 장치
CA3001292C (en) * 2015-10-15 2022-04-19 Sony Corporation Reception apparatus, transmission apparatus, and data processing method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266330A (ja) * 2003-01-30 2004-09-24 Matsushita Electric Ind Co Ltd 通信端末装置及びその制御方法
EP1675343A1 (en) * 2004-12-23 2006-06-28 Siemens S.p.A. Method and system to minimize the switching delay between two RTP multimedia streaming sessions
JP2015029295A (ja) * 2008-07-02 2015-02-12 オパンガ ネットワークス インコーポレイテッド トランスペアレンシー機能を用いる適応ファイル送達のシステムおよび方法
JP2012518969A (ja) * 2009-02-24 2012-08-16 マニュファクチャリング・リソーシズ・インターナショナル・インコーポレーテッド 複数の固有のビデオ/オーディオストリームを配信するシステム
US20130297817A1 (en) * 2011-01-19 2013-11-07 Electronics And Telecommunications Research Institute Method and apparatus for transmitting media content via a single port or multiple ports
JP2014168129A (ja) * 2013-02-28 2014-09-11 Kddi R & D Laboratories Inc ネットワーク切替情報通知装置およびコンピュータプログラム
KR20150047082A (ko) * 2013-10-23 2015-05-04 한국전자통신연구원 Mmt 페이로드 헤더 구성 장치 및 방법
JP2015192407A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
WO2016072345A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIANGHUI ZHANG ET AL.: "A MMT-based content classification scheme for VoD service", 2015 IEEE INTERNATIONAL SYMPOSIUM ON BROADBAND MULTIMEDIA SYSTEMS AND BROADCASTING, JPN6021004346, 17 June 2015 (2015-06-17), pages 1 - 5, XP033188533, ISSN: 0004442835, DOI: 10.1109/BMSB.2015.7177245 *

Also Published As

Publication number Publication date
US10880586B2 (en) 2020-12-29
US20190297357A1 (en) 2019-09-26
KR20170133805A (ko) 2017-12-06
CN109196870A (zh) 2019-01-11
KR102421791B1 (ko) 2022-07-15
JP6970124B2 (ja) 2021-11-24
WO2017204601A1 (ko) 2017-11-30
CN109196870B (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
JP5512038B2 (ja) メディアデータを送受信するためのインターフェース装置及び方法
US9473378B1 (en) Method for transmitting packet-based media data having header in which overhead is minimized
US9565482B1 (en) Adaptive profile switching system and method for media streaming over IP networks
RU2634908C2 (ru) Способ и устройство для управления доставкой медиаданных
US11070327B2 (en) Method and apparatus for re-transmitting MMT packet and method and apparatus for requesting MMT packet re-transmission
US9781488B2 (en) Controlled adaptive rate switching system and method for media streaming over IP networks
US9621617B2 (en) Method and server for sending a data stream to a client and method and client for receiving a data stream from a server
JP6774957B2 (ja) マルチメディアブロードキャストマルチキャストサービスに基づくフレキシブルブロードキャストサービスのための方法及び装置
CN106664440B (zh) 用于在多媒体系统中接收和发送信息的方法和设备
KR20130086991A (ko) 부호화된 미디어 데이터를 전송하는 장치에서의 네트워크 지터 추정 방법
JP2019186963A (ja) メディアデータに関する情報を送信する方法
KR20190018142A (ko) Mmt 전송 패킷의 설정 방법 및 전송 방법
JP6732725B2 (ja) 通信システムにおけるデータ送受信装置及び方法
JP6976276B2 (ja) レートペーシングのためにバッファを管理する装置及び方法
JP6970124B2 (ja) Mmtpパケットを送受信する方法及びその装置
WO2017008401A1 (zh) 一种协议帧传输方法、装置、节点设备以及系统
US10893303B1 (en) Streaming chunked media segments
EP4203350A1 (en) Data transmission method and related device
CN115767143A (zh) 播放卡顿的判断方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211028

R150 Certificate of patent or registration of utility model

Ref document number: 6970124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150