JP2017528024A - 通信システムにおけるデータ送受信装置及び方法 - Google Patents

通信システムにおけるデータ送受信装置及び方法 Download PDF

Info

Publication number
JP2017528024A
JP2017528024A JP2017500078A JP2017500078A JP2017528024A JP 2017528024 A JP2017528024 A JP 2017528024A JP 2017500078 A JP2017500078 A JP 2017500078A JP 2017500078 A JP2017500078 A JP 2017500078A JP 2017528024 A JP2017528024 A JP 2017528024A
Authority
JP
Japan
Prior art keywords
data
mpu
mfu
mmt
communication system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017500078A
Other languages
English (en)
Other versions
JP6732725B2 (ja
Inventor
パク,キョン−モ
プ,ヒョン−チョル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2017528024A publication Critical patent/JP2017528024A/ja
Application granted granted Critical
Publication of JP6732725B2 publication Critical patent/JP6732725B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633Control signals issued by server directed to the network components or client
    • H04N21/6332Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336Control signals issued by server directed to the network components or client directed to client directed to decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)

Abstract

本発明の一実施形態が提供する通信システムにおけるデータを送信する方法は、送信されるデータユニットに含まれたデータセグメント別重要度情報を考慮して送信しないデータセグメントを決定するステップと、上記データユニットに含まれた全データセグメントのうちの少なくとも1つのデータセグメントが送信されないことを示す不完全データ指示子を生成するステップと、上記送信しないと決定したデータセグメントを除外した残りのデータセグメント及び上記不完全データ指示子を送信するステップとを有する。

Description

本発明は、マルチメディア送受信のための通信システムにおけるネットワーク輻輳制御を用いてデータを送受信する方法及び装置に関する。
従来のブロードキャストネットワークにおいて、マルチメディアコンテンツの送信のためにムービングピクチャエクスパーツグループ−2トランスポートストリーム(MPEG−2 TS)を使用することが一般的であった。MPEG−2 TSは、エラーがある送信環境で複数のブロードキャストプログラム(符号化された複数のビデオビットストリーム)が多重化されたビットストリームを送信するための代表的な送信技術として使用されている。例えば、MPEG−2 TSは、マルチメディア時代のディジタルTVブロードキャスティングでの使用に適合する。
しかしながら、MPEG−2 TSは、マルチメディアサービスをサポートするにあたりに幾つかの限界点を有する。すなわち、MPEG−2 TSは、単方向通信、固定されたフレームサイズによる送信の非効率性、オーディオ/ビデオに特化されているトランスポートプロトコル及びインターネットプロトコル(Internet Protocol:IP)を使用して送信する時に、不必要なオーバーヘッドの発生などのような限界を有している。
したがって、MPEGでは、MPEG技術に基づいてマルチメディアサービスをサポートするためのマルチメディア送信技術の中の1つとしてMPEGメディアトランスポート(MPEG MEDIA Transport:MMT)標準を新たに提案した。特に、MMT標準は、MPEG−2 TSの限界点を克服するために提案された。
例えば、MMT標準は、異種(heterogeneous)ネットワークを通してハイブリッドコンテンツを効率的に送信するために適用できる。ここで、ハイブリッドコンテンツは、ビデオ/オーディオ/アプリケーション/ウィジェットなどのマルチメディアエレメントを有するコンテンツの集合を意味する。異種ネットワークは、ブロードキャストネットワークと通信ネットワークとが混在するネットワークを意味する。
さらに、MMT標準は、送信ネットワークでの基本技術であるIPと親和性のある送信技術を定義している。すなわち、MMT標準は、IPに基づいて変化するマルチメディアサービス環境における効率的なMPEG送信技術を提供することを意図したものであり、持続的な研究とともに標準化が進んでいる。
本発明の目的は、少なくとも上述した問題点及び/又は不都合に取り組み、少なくとも以下の利便性を提供することにある。すなわち、本発明の目的は、通信システムにおけるハイブリッドコンテンツを送受信する方法及び装置を提供することにある。
本発明の別の目的は、通信システムにおけるネットワーク輻輳の際にハイブリッドコンテンツを送受信する方法及び装置を提供することにある。
本発明のさらに別の目的は、通信システムにおけるデータドロップを実行することによりハイブリッドコンテンツを送受信する方法及び装置を提供することにある。
本発明のさらなる別の目的は、通信システムにおけるドロップされるデータを決定するための方法及び装置を提供することにある。
本発明のさらにその別の目的は、通信システムにおけるデータがデータドロップの後に送信される場合にデータドロップを通知するための方法及び装置を提供することにある。
上記のような目的を達成するために、本発明の実施形態の一態様によれば、通信システムにおけるデータを送信する方法が提案される。上記方法は、送信するデータユニットに含まれたデータセグメント別重要度情報に基づいて送信しないデータセグメントを決定するステップと、上記データユニットに含まれた全データセグメントのうちの少なくとも1つのデータセグメントが送信されないことを示す不完全データ指示子を生成するステップと、上記送信しないと決定したデータセグメントを除外した残りのデータセグメント及び上記不完全データ指示子を送信するステップとを有することを特徴とする。
本発明の実施形態の他の態様によれば、通信システムにおけるデータを受信する方法が提案される。上記方法は、少なくとも1つのデータセグメントを有するデータユニットを受信するステップと、上記データユニットに含まれた全データセグメントのうちの少なくとも1つのデータセグメントが送信されないことを示す不完全データ指示子を受信するステップと、上記不完全データ指示子に基づいて、上記送信しないと決定したデータセグメントを除外した残りのデータセグメントを復号するステップとを有することを特徴とする
本発明の実施形態のさらに他の態様によれば、 通信システムにおけるデータを送信する装置が提案される。上記装置は、送信されるデータユニットに含まれたデータセグメント別重要度情報に基づいて送信しないデータセグメントを決定する制御部と、上記データユニットに含まれた全データセグメントのうちの少なくとも1つのデータセグメントが送信されないことを示す不完全データ指示子を生成するデータ処理部と、上記送信しないと決定したデータセグメントを除外した残りのデータセグメント及び上記不完全データ指示子を送信する送受信部とを有することを特徴とする。
本発明の実施形態のさらなる他の態様によれば、通信システムにおけるデータを受信する装置が提案される。上記装置は、少なくとも1つのデータセグメントを有するデータユニットと、上記データユニットに含まれた全データセグメントのうちの少なくとも1つのデータセグメントが送信されないことを示す不完全データ指示子を受信する送受信部と、上記不完全データ指示子に基づいて、上記送信しないと決定したデータセグメントを除外した残りのデータセグメントを復号するように制御する制御部とを有することを特徴とする。
本発明の実施形態によるMMTデータモデルを示す図である。 本発明の実施形態によるMMT送信エンティティ及びMMT受信エンティティのMMTパッケージの送受信を概略的に示す図である。 本発明の実施形態によるメディア処理ユニット(MPU)がカプセル化されるISO基盤メディアファイルフォーマットを示す図である。 本発明の実施形態による送信エンティティと受信エンティティとの間の輻輳制御を示す図である。 本発明の実施形態による送信エンティティと受信エンティティとの間のメッセージ送受信を示す図である。 本発明の実施形態による送信エンティティの動作を示す図である。 本発明の実施形態による受信エンティティの動作を示す図である。 本発明の実施形態によるMMTサーバ、基地局、及びUE間のメッセージフローを示す図である。 本発明の他の実施形態によるネットワークエンティティである基地局がMPUの輻輳制御を実行する場合におけるMMTサーバ、基地局、及びUE間のメッセージフローを示す図である。 本発明の実施形態による送信エンティティのブロック図である。 本発明の実施形態による受信エンティティのブロック図である。
以下、本発明の様々な実施形態を添付の図面を参照して詳細に説明する。図面中、同一の構成要素または機能的に類似した構成要素に対しては同一の参照符号及び参照符号を付することに留意すべきである。また、本発明を説明するにあたって、関連した公知機能或いは構成に対する具体的な説明が、本発明の要旨を不必要に不明瞭にすると判断された場合、その詳細な説明は省略する。さらに、本発明の様々な実施形態による動作を理解するために必須的な部分のみが説明され、必須的でない部分の説明は、本発明の要旨を不明にすると判断される場合には、その詳細な説明を省略する。
本発明の実施形態は、説明の便宜のために分離されたものであるが、相互に衝突しない範囲内で少なくとも2以上の実施形態が結合されて実行されてもよい。
本発明で使用される用語は、実施形態での機能を考慮して定義されたものであって、これらは、ユーザ又は運用者の意図、慣例などに従って変わってもよい。したがって、後述する実施形態で使用される用語は、本明細書に具体的に定義される場合には、その定義に従い、具体的な定義がない場合には、当業者が一般的に理解する意味として解釈されるべきである。
本発明は、様々な変更を加えることができ、様々な実施形態を有し得るので、図面を参照して特定の実施形態を詳細に説明する。しかしながら、この説明は、本発明を特定の実施形態に限定するのではなく、本発明の特許請求の権利範囲は、本発明の思想及び技術範囲に含まれる全ての変更、均等物、及び置き換え物を含むものと理解されなければならない。
「第1」及び「第2」などのような序数を含む用語が様々な構成要素を説明するために使用されるが、これらの構成要素は、この用語により限定されない。この用語は、1つの構成要素を他の構成要素と区別するためにだけ使用される。例えば、本発明の権利範囲を逸脱することなく、第1の構成要素は第2の構成要素と呼ばれてもよく、同様に、第2の構成要素も第1の構成要素と呼ばれてもよい。ここで使用される用語「及び/又は」は、複数の関連した記載された項目の組み合せ又は複数の関連した記載された項目のうちのいずれか項目を含む。
ここで使用する用語は、特定の実施形態だけを説明するためのもので、本発明を限定するものではない。ここで使用するように、単数の表現は、文脈上明白に異なることを必要としない限り複数の表現を含む。本明細書で使用されている「含む」及び「有する」などのような用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部分、又はこれらの組合せの存在を指定するものであって、1つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はこれらの組合せの存在又は付加の可能性を予め排除しないものと理解されるべきである。
或る用語が異なって定義されない限り、技術的又は科学的な用語を含めてここで使用される全ての用語は、本発明が属する技術分野における通常の知識を有する者により一般的に理解されるものと同一の意味を有している。一般的に使用される予め定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈されなければならず、本出願で明白に定義しない限り、理想的であるか又は過度に形式的な意味であると解釈されない。
本発明で提案する装置及び方法は、ロングタームエボリューション(long-term evolution:以下、「LTE」と呼ぶ)移動通信システムと、ロングタームエボリューションアドバンスド(long-term evolution-advanced:以下、「LTE−A」と呼ぶ)移動通信システムと、高速ダウンリンクパケット接続(high speed downlink packet access:以下、「HSDPA」と呼ぶ)移動通信システムと、高速アップリンクパケット接続(high speed uplink packet access:以下、「HSUPA」と呼ぶ)移動通信システムと、第3世代プロジェクトパートナーシップ2(3rd generation project partnership 2:以下、「3GPP2」と呼ぶ)の高速レートパケットデータ(high rate packet data:以下、「HRPD」と呼ぶ)移動通信システムと、3GPP2の広域符号分割多重接続(wideband code division multiple access:以下、「WCDMA(登録商標)」と呼ぶ)移動通信システムと、3GPP2の符号分割多重接続(code division multiple access:以下、「CDMA」と呼ぶ)移動通信システムと、国際電気電子技術者協会(institute of electrical and electronics engineers:以下、「IEEE」と呼ぶ)802.16m通信システムと、進化したパケットシステム(evolved packet system:以下、「EPS」と呼ぶ)と、モバイルインターネットプロトコル(mobile internet protocol:Mobile IP)システムなどのような様々な通信システムに適用可能である。
本発明の詳細な説明に先立って、本発明の主要な概念について簡略に説明する。
送信エンティティがデータを受信エンティティに送信することを希望する場合に、送信エンティティは、何らか原因により、意図的にデータの一部を省略し、残りのデータ部分だけを送信してもよい。この場合に、送信エンティティは、送信データの重要度を考慮して全送信データの中で省略すべきデータを決定する。また、省略すべきデータが決定され、決定されたデータを除外した残りのデータだけを送信する場合に、送信エンティティは、全送信データの中の一部のデータを省略したことを示す情報を受信エンティティに送信する。したがって、全データの中に省略された一部のデータを発見した場合にも、受信エンティティは、送信エンティティが意図的に対応するデータを省略したことを認識できる。受信エンティティは、省略されたデータが受信されるまで待機するか、又は、省略されたデータの再送信をリクエストする動作を実行することなく、現在受信したデータだけを復号でき、これにより、送受信リソースを効率的に使用できる。特に、本発明は、ネットワークが輻輳した状況で非常に有用である。
以下では、本発明の実施形態について詳細に説明する。下記の説明は、MMT標準技術に基づいて行われる。しかしながら、これは、説明の便宜のためにすぎず、本発明がMMT標準技術のみに適用されるものではない。
図1は、本発明によるMMTデータモデルを示す図である。
MMTにおいて、符号化されたメディアデータ及びそれに関連した情報であるメタデータのセットは、パッケージ100と呼ばれるMMTフローとして定義される。
パッケージ100は、少なくとも1以上のMMTアセット110、120、130と、少なくとも1つの「トランスポート特性情報」又は「アセット配信特性(Asset Delivery Characteristics:ADC)」情報115、125と、少なくとも1つの提示情報(Presentation Information:PI)140とを含む。参考として、MMTアセットは、ビデオ、オーディオ、テキスト、ファイル、ウィジェットなどのマルチメディアプレゼンテーションを生成するために使用可能なマルチメディアデータを意味する。
MMTアセット110、120、130のそれぞれは、少なくとも1つのメディア処理ユニット(MPU)を含む。図1において、第1のMMTアセット(MMTアセット1)110は、複数のMPU111、112、113を含む。MPUは、MMTストリームを独立して処理するユニットである。すなわち、送信され又は復号される単位である。1つのMPUは、複数のセグメントに分割され、分割されたセグメントは、「MPUフラグメントユニット(MPU Fragment Unit:MFU)」と呼ばれる。
MMT送信エンティティは、MPU単位でメディアデータを分割し処理し、MMT受信エンティティは、MPU単位でメディアデータを受信して再生のためにMPUを処理する。
トランスポート特性情報又はADC115、125は、MMTアセット毎に対応するMMTアセットのトランスポート特性を提供するための情報を含む。すなわち、ADC115は、MMTアセット1 110のトランスポート特性を示し、ADC125は、MMTアセット2 120及びMMTアセット3 130のトランスポート特性を示す。
提示情報140は、複数のアセット110、120、130間の時間及び空間関係を説明する情報を含む。
図2は、本発明によるMMT送信エンティティ210及びMMT受信エンティティ220のMMTパッケージの送受信を概略的に示す図である。
MMT送信エンティティ210(以下、「送信エンティティ210」と呼ぶ)は、パッケージをMMTパケットフローとしてMMT受信エンティティ220(以下、「受信エンティティ220」と呼ぶ)に送信する。一方、送信エンティティ210は、MMTメディアデータを送信する任意のエンティティであり、一例として、MMTブロードキャストサーバとなる。受信エンティティ220は、MMTメディアデータを受信する任意のエンティティ、例えば、MMTクライアントである端末又はUE(User Equipment)である。
送信エンティティ210がMMTブロードキャストサーバであり、受信エンティティ220がUEである場合には、MMTブロードキャストサーバは、基地局又は類似した機能を実行するネットワークエンティティを通してMMTメディアデータをUEに送信できる。基地局と類似した機能を実行するネットワークエンティティは、例えば、無線ローカルエリアネットワーク(WLAN)システムのアクセスポイント(AP)である。しかしながら、説明の便宜のために、「基地局」は、セルラー通信システムの基地局及びWLAN通信システムのAPを含む概念として使用される。図2では、基地局を図示しない。
送信エンティティ210は、パッケージプロバイダ201により提供されるパッケージの提示情報(PI)に基づいて、アセットプロバイダ203、205からコンテンツを収集する。ここで、パッケージプロバイダ201及びアセットプロバイダ203、205は、物理的に同一の位置に存在する。
送信エンティティ210は、動作230において、アセット、トランスポート特定情報、及び提示情報を含むパッケージをMMTプロトコル(MMT Protocol:MMTP)を使用して送信する。送信エンティティ210及び受信エンティティ220は、動作240において、シグナリング情報をMMTPを使用して送受信する。シグナリングメッセージは、パッケージの配信及び消費を管理するために送受信される。
参考として、MMTプロトコルについて簡略に説明する。MMTPは、MMTパッケージをパケット化し送信するためのアプリケーションレイヤートランスポートプロトコルであり、パッケージを効率的かつ信頼性高く送信するために設計されている。MMTPは、メディア多重化及びネットワークジッタ計算のような改善した特徴を有する。これらの特徴は、様々なタイプで符号化されたメディアデータで構成されるコンテンツを効率的に送信できる。MMTPは、現存するネットワークプロトコル、例えば、UDP又はIPの上位レイヤー上で動作できる。また、MMTPは、様々なアプリケーションをサポートするように設計されている。
図3は、本発明によるMPUがカプセル化されるISO基盤メディアファイルフォーマットを示す図である。
1つのMPUは、ISO基盤メディアファイルフォーマットに従ってカプセル化される。MPUがカプセル化されるISO基盤メディアファイルであるMPUファイル300は、MPUメタデータの情報を含むMPUメタデータ310と、MPUメディアデータから分割された少なくても1つのMFU321,322,...,32Nを含むmdatボックス320とを含む。各MFUは、MFUペイロード及びMFUヘッダhを含む。
MPUメディアファイル310は、fytpボックス311、sidxボックス312、mmpuボックス313、moovボックス314、及びmoofボックス317を含む。fytpボックス311は、メディアデータのタイプ情報を含み、sidxボックス312は、MPUを構成するフラグメントのインデックス情報を含む。
mmpuボックス313は、現在のMPUが属しているアセットの識別子及び現在のMPUに関する他の情報を含む。特に、mmpuボックス313は、現在のMPUがすべてのMFUを含むか否かを示す情報(「is complete」)を含む。
moovボックス314は、メディアデータの復号及び提示のためのすべてのコーデック構成情報を含む。具体的に、moovボックス314は、少なくとも1つのメディアトラック316及びMFUのためのMMTヒントトラック317を含む。
MMTヒントトラック317は、MPUを含むメディアファイル300をMMTPのようなトランスポートプロトコルを用いてパケット化されたメディアストリームに変換するために必要とされる情報を含む。すなわち、MMTヒントトラック317は、1つのMPUを形成する複数のMFUを生成するために必要な情報を含む。特に、MMTヒントトラック317は、対応するMFUが1つのMPUに含まれた他のMFUに関する優先順位情報(「priority」)と、対応するMFUを参照して復号されるMFUの個数に関する情報(「dependency counter」)とを含む。
図4は、本発明による送信エンティティ210と受信エンティティ220との間の輻輳制御を示す図である。
図4を参照すると、1つのビデオアセット401のうちの1つのMPUメディアデータ403を送信エンティティ210でISO基盤MPUファイル403としてカプセル化し、参照符号409におけるように、MMTPを使用してMMTファイル405を送信し、受信エンティティ220によりMPUファイルを受信する過程について説明する。しかしながら、図4を参照して、本発明による輻輳制御(congestion control)がネットワーク輻輳の発生により実行される場合について説明する。
ここで、ネットワーク輻輳は、MMTパッケージを生成するMMTブロードキャストサーバからUEへのチャネル経路上のチャネル容量がシステム設計に基づくチャネル容量をサポートできない状況を意味する。例えば、基地局への経路のシステムチャネル容量が100Mbpsであり、各基地局からUEへの無線チャネル容量が75Mbpsであると仮定すると、任意の基地局がブレークダウンした場合に、ブロードキャストサーバが現在ブレークダウンした基地局とは異なる基地局を迂回する場合にも、ストリーミングサービスのような特定のサービスは、システム構成容量より低い容量で送信されなければならない。この場合には、ブロードキャストサーバは、ストリーミングサービスを提供するために、MPUのうちある一部のMFU以のMFUを送信する。ストリーミングサービスの場合に、ユーザは、一部のメディアデータが省略されていても全メディアデータサービスを受信するが、このような方式は、ネットワークの輻輳の時に使用される。このように、ネットワーク輻輳に対するサービスを提供する方式を輻輳制御と称する。
しかしながら、MMTPは、輻輳制御に対する具体的な方式を規定しておらず、輻輳制御は、実装上の問題として置き去りにされている。本発明は、MMTPでトラフィック輻輳の場合に輻輳制御を実行するための方式を提案する。
図4を参照すると、参照符号401は、1つのビデオアセットを示す。上述したように、1つのパッケージは、オーディオアセット、ビデオアセット、ウィジェットアゼットなどのような少なくとも1つのアセットを含む。
アセット401は、少なくとも1つのMPUを含み、参照符号403は、1つのMPUに対応する場面を示す。参照符号405は、場面403に対応する1つのMPUファイルを示す。MPUファイル405は、図3に示したMPUファイル300と全く同一である。上述したように、MPUファイル405は、MPUメタデータを形成するボックスと少なくとも1つのMFUを含むmdatボックスとを含む。
参照符号407は、MPUファイル405内のmdatボックスでMFUペイロード及びMFUヘッダがカプセル化される順序を示す。すなわち、参照符号407において、“h”で表記されたMFUヘッダは一緒に配列され(406)、「ペイロード」で表記されたMFUペイロードは、MFUヘッダの後ろにて一緒に配列される(408)。
参照符号409は、MPUファイル403が参照符号407のようにカプセル化された後に、MMTPにより送信される順序を示す。すなわち、MPUメタデータがまず送信され、この後に、MFUヘッダとMFUペイロードとを含むそれぞれのMFUが順次送信される。
ネットワーク状態がある理由により輻輳状態である場合に、本発明は、MPUファイル405に含まれた少なくとも1つのMFUを除外した残りのMFUを送信する。図4では、MPUファイル405の2番目のMFU431を除外すると仮定する。すなわち、1つのMPUから一部のMFUを除外しても全サービスに大きな問題がない場合、及び、ネットワークの状態又は端末の状態がよくない場合には、一部のMFUを送信しないようにすることにより、ネットワークの状態又は端末の状態によりデータ送信率を適応的に調整する。
しかしながら、1つのMPUを構成する複数のMFUのうちいずれかのMFUを除外するかを決定することは、非常に重要な問題である。それぞれのMFUの重要度は、相互に異なるので、どのMFUを省略するかにより受信側の復号性能又はサービス品質に影響を与えるためである。
本発明において、送信エンティティ210は、1つのMPUを構成する複数のMFUの重要度情報に基づいて、送信しないMFUを決定する。ここで、「重要度情報」は、MPUに属する他のMFUと比較して対応するMFUの重要度の程度を示す。本発明において、重要度情報は、「優先順位情報(priority)」及び「参照個数情報(dependency counter)」のうちの少なくとも1つを含む。
例えば、対応するMFUがMPUの復号のといった処理の時に必ず必要なMFUである場合には、対応するMFUの重要度は高く設定される。他の例において、対応するMFUがマルチメディアデータへのユーザのランダムアクセスに必要なランダムアクセスポイントに対応する場合には、対応するMFUの重要度は高く設定される。これらの例において、重要度は、「優先順位情報」である。
他の例において、対応するMFUを参照して復号される他のMFUの個数が多いほど、対応するMFUの重要度は高くなる。ビデオ映像において、MPEGビデオフォーマット映像は、Iフレーム、Pフレーム、及びBフレームを含み、Pフレーム及びBフレームは、Iフレームを参照する。また、Iフレームは、ランダムアクセスポイントとして使用される。すなわち、Iフレームの重要度は、Bフレーム又はPフレームより高い。したがって、Iフレームに対応するMFUは、高い重要度を有する。このような例において、重要度情報は、「参照個数情報」である。
送信エンティティ210は、MFU毎の特性に基づいてMFU別重要度を個別に決定する。例えば、ビデオアセットの場合に、ビデオのIフレーム、Bフレーム、Pフレーム及び制御情報の各々に対応するMFUの重要度値は、対応するフレーム又は制御情報に従ってそれぞれ決定される。本発明の他の方法では、 既存のMMT標準で定義されたメッセージを用いて対応するMFUの重要度が決定される。
MMT標準で定義されたメッセージを使用する例は、次のようになる。
図3を参照して説明したように、MMTヒントトラック317は、他のMFUに対して対応するMFUの優先順位を示す「優先順位」情報と、対応するMFUを参照して復号されるMFUの個数に関する情報、すなわち、参照個数情報である「dependency counter」を含む。MMT標準で定義された「priority」又は「dependency counter」を用いて、対応するMFUの重要度情報を決定できる。すなわち、MFUの重要度情報は、対応するMFUの「優先順位情報」又は「参照個数情報」を含み、「優先順位情報」又は「参照個数情報」は、それぞれMMT標準で定義された「priority」又は「dependency counter」からわかる。例えば、ビデオアセットの場合に、ビデオを構成するIフレーム、Bフレーム、Pフレーム、及び制御情報のそれぞれに対応するMFUの「priority」又は「dependency counter」情報を用いて対応するフレーム又は制御情報の重要度を決定できる。
このように、送信エンティティ210は、対応するMFUの重要度情報に基づいて、MPUのMFUのうちで、送信されない、すなわち、ドロップされる少なくとも1つのMFUを決定できる。送信エンティティ210は、ドロップが決定されたMFUを除外した他のMFUを含むMPUを送信する。この場合に、受信エンティティ220は、送信エンティティ210によりドロップされたMFUを受信できず、受信エンティティ220が受信できないMFUが送信エンティティ210により意図的にドロップされるか、又は送信エンティティ210が対応するMFUを送信しても、ネットワーク上で損失されたかを認識できない。
送信エンティティ210が少なくとも1つのMFUを意図的にドロップした後にMPUを送信することを示すために、送信エンティティ210は、MPU内のMFUがドロップされることを示す情報又は指示子を含む。このような情報を“不完全MPU指示子”と称する。
不完全MPU指示子は、既存のMMT標準に含まれない新たなフォーマットを有するメッセージを定義して使用できる。また、本発明において、既存のMMT標準に含まれたフォーマットを有するメッセージは、不完全指示子として使用される。
既存のMMT標準に従うメッセージを使用する例として、本発明は、「is complete」メッセージを使用する。図3を参照して説明したように、MPUメタデータ310内のmmpuボックス313は、「is complete」情報を含み、「is complete」は、現在のMPUがすべてのMFUを含むか否かを示す。送信エンティティ210が少なくても1つのMFUをドロップし、MPUを送信することを希望する場合に、送信エンティティ210は「is complete」メッセージの値を所定の値に設定する。このように、送信エンティティ210は、「is complete」メッセージを使用して、少なくとも1つのMFUをドロップした後にMPUを送信することを受信エンティティ220に示す。
さらに図4を参照すると、送信エンティティ210がMFUの重要度情報、すなわち、MMTヒントトラック317内の「priority」及び「dependency counter」の中の少なくとも1つを考慮してMPUファイル405で2番目のMFU431をドロップすることを決定すると仮定する。
参照符号407で示すように、 MFUヘッダ406及びMFUペイロード408がMPUファイル405内のmdatボックスで順次に配列されているが、MMTPを用いて対応するMFUを送信することを希望する場合に、送信エンティティ210は、2番目のMFUヘッダ425及び2番目のMFUペイロード427をドロップした後に、参照符号409で示すように他のMFUを送信する。本発明において、対応するMPUの少なくとも1つのMFUがドロップされたことを示すように、「不完全MPU指示子」がMPUメタデータ内に設定されるか又は含まれる。すなわち、MPUメタデータ内のmmpuボックスにおいて、「is complete」は、特定の値に設定される。
受信エンティティ220は、2番目のMFUがドロップされたMPUを受信し、対応するMFUがドロップされたMPUファイル411を復元する。MPUファイル411内のmmpuボックスから不完全MPU指示子を検出する場合に、受信エンティティ220は、少なくとも1つのMFUが対応するMPUからドロップされたことを認識できる。すなわち、MPUファイル411内のmmpuボックスでの「is complete」が特定の値に設定される場合に、受信エンティティ220は、少なくとも1つのMFUが対応するMPUからドロップされたことをわかる。
図5は、本発明による送信エンティティ210と受信エンティティ220との間のメッセージの送受信を示す図である。
送信エンティティ210は、MMTサーバであり、受信エンティティ220は、MMTクライアント、例えば、UEであると仮定する。しかしながら、一般的には、送信エンティティ210と受信エンティティ220との間には、基地局が存在する。
図5の各過程は、説明の便宜上、各動作別に説明したが、各動作が相互に矛盾するか又は衝突しない限り、かならず順次に動作しなくてもよい。また、各ステップの動作が場合によって省略されてもよい。
ステップ501において、受信エンティティ220は、ネットワークの状態情報又はUEの状態情報のうちの少なくとも1つを送信エンティティ210に送信する。受信エンティティ220は、端末の状態を知らせるUEの状態情報を生成できる。また、受信エンティティ220は、受信エンティティ220と基地局との間の無線チャネル状態などを測定することにより、ネットワークの状態情報を生成できる。受信エンティティ220は、このようなネットワークの状態情報及び/又はUEの状態情報を、基地局を通して送信エンティティ210に送信する。場合によっては、ネットワークの状態情報又はUEの状態情報は、受信エンティティ220に関係なく基地局により生成され、送信エンティティ210に送信される。
参考として、ネットワークの状態情報は、使用可能なビット率、パケット損失率、遅延又はジッタなどを含む。例えば、リアルタイム制御パケットトランスポートプロトコルであるRTCPの結果として測定された遅延及びパケット損失率、又は、無線ローカルエリアネットワーク(WLAN)のメディアアクセスコントロール(MAC)レイヤー又は3GPP RANで測定された結果がネットワークの状態情報に含まれる。また、UEの状態情報は、UEのケイパビリティ情報及びUEのバッファ状態情報などを含む。
送信エンティティ210は、受信エンティティ220又は基地局から受信したネットワークの状態情報及び/又はUEの状態情報を用いて、MFUドロップを実行するか否かを決定する。他の実施形態において、基地局は、ネットワークの状態情報及び/又はUEの状態情報に基づいてMFUドロップを決定し、送信エンティティ210がMFUドロップを実行するように指示する。
他の実施形態において、場合によっては、ステップ501は、かならず必要なものではなく省略可能である。すなわち、送信エンティティ210は、ステップ501において、受信される情報に基づいてMFUドロップを決定する必要はなく、自身の判断に従ってMFUドロップを決定できる。
送信エンティティ210がMFUドロップを決定する場合に、送信エンティティ210は、MFUの重要度に基づいてMPU内でドロップするMFUを決定する。すなわち、MMTヒントトラック317内の「priority」及び「dependency counter」のうちの少なくとも1つを考慮してドロップされる少なくとも1つのMFUを決定する。
ドロップするMFUが決定されると、送信エンティティ210は、ステップ503において、不完全MPU指示子をMPUファイルに含ませ、不完全MPU指示子を含み、MFUがドロップされたMPUを受信エンティティ220に送信する。すなわち、MPUメタデータ内のmmpuボックスで「is complete」は、特定の値に設定される。
図6は、本発明による送信エンティティ210の動作を示すフローチャートである。
図6の各過程は、説明の便宜上、各動作別に説明したが、各動作が相互に矛盾するか又は衝突しない限り、かならず順次に動作しなくてもよい。また、各ステップの動作が場合によって省略されてもよい。
ステップ601において、送信エンティティ210は、基地局又は端末で生成されたネットワークの状態情報及び/又はUEの状態情報を受信する。しかしながら、ステップ601は、省略してもよい。ステップ603において、送信エンティティ210は、ネットワークの状態情報及び/又はUEの状態情報に基づいて、ネットワーク状態が輻輳状態と判定したら、輻輳制御の実行を決定する。輻輳制御は、MFUドロップを意味する。しかしながら、場合によっては、送信エンティティ210は、基地局から輻輳制御の指示又はMFUドロップの指示を受信するか、又は送信エンティティ210自身がネットワーク状態を測定し、これに基づいてMFUドロップを決定できる。
ステップ603において、MFUドロップの実行を決定するので、ステップ605において、送信エンティティ210は、MFUの重要度を考慮してMPU内でドロップするMFUを決定する。すなわち、送信エンティティ210は、MMTヒントトラック317内の「priority」及び「dependency counter」のうちの少なくとも1つを考慮してドロップする少なくとも1つのMFUを決定する。
ステップ607において、送信エンティティ210は、不完全MPU指示子をMPUファイルに含ませ、ドロップが決定されたMFUを除外したMPUを生成する。すなわち、MPUメタデータ内のmmpuボックスで「is complete」を特定の値に設定することによりMPUを生成する。ステップ609において、送信エンティティ210は、不完全MPU指示子を含む少なくとも1つのMFUがドロップされたMPUを送信する。
図7は、本発明による受信エンティティ220の動作を示すフローチャートである。
図7の各過程は、説明の便宜上、各動作別に説明したが、各動作が相互に矛盾するか又は衝突しない限り、かならず順次に動作しなくてもよい。また、各ステップの動作が場合によって省略されてもよい。
ステップ701において、受信エンティティ220は、ネットワークの状態情報及び/又はUEの状態情報を送信する。しかしながら、ステップ701は、省略されてもよい。ステップ703において、受信エンティティ220は、不完全MPU指示子が含まれた少なくとも1つのMFUがドロップされたMPUを受信する。ステップ705において、受信エンティティ220が不完全MPU指示子を検出する場合には、ドロップされたMFUを無視し、受信したMFUを使用してMPUを復号することにより、対応するメディアデータを生成する。
以下では、送信エンティティ210がMMTサーバであり、受信エンティティ220がUEであり、MMTサーバが基地局を通してMMTストリームを送信する場合における本発明の実施形態について説明する。
図8は、本発明によるMMTサーバ801、基地局803、及びUE805間のメッセージフローを示す図である。
図8の各過程は、説明の便宜上、各動作別に説明したが、各動作が相互に矛盾するか又は衝突しない限り、かならず順次に動作しなくてもよい。また、各ステップの動作が場合によって省略されてもよい。
ステップ811において、UE805は、UEの状態情報を生成し、これを基地局803に送信する。この場合に、UE805がUE805と基地局803との間のネットワーク状態を測定し、これに対するネットワークの状態情報をともに送信できる。しかしながら、ステップ811は、省略されてもよい。
ステップ813において、基地局803は、UE805から受信したUEの状態情報及び/又はネットワークの状態情報をMMTサーバ801に送信する。基地局803がUE805からUEの状態情報だけを受信した場合に、基地局803は、ネットワーク状態を測定し、ネットワークの状態情報を生成し、この生成されたネットワークの状態情報をMMTサーバ801に送信できる。
ネットワークの状態情報及び/又はUEの状態情報を受信したMMTサーバ801は、この受信された情報を用いてMFUドロップを実行するか否かを決定する。他の実施形態において、基地局803は、ネットワークの状態情報及び/又はUEの状態情報に基づいてMFUドロップを実行するか否かを決定し、実行すると決定した場合に、基地局803がMFUドロップを実行するように送信エンティティ210に指示することができる。MFUドロップの実行が決定されると、MMTサーバ801は、MFUの重要度に基づいてMPU内でドロップするMFUを決定する。すなわち、MMTサーバ801は、MMTヒントトラック317内の「priority」及び「dependency counter」のうちの少なくとも1つを考慮してドロップする少なくとも1つのMFUを決定し、不完全MPU指示子をMPUファイルに含ませる。
ステップ815において、MMTサーバ801は、不完全なMPU指示子を含み、MFUが欠落したMPUを基地局803に送信する。すなわち、MPUメタデータ内のmmpuボックスにおいて、「is complete」は、特定の値として設定される。ステップ817において、基地局803は、不完全MPU指示子を含み、MFUがドロップされたMPUをUE805に送信する。
この後に、UE805は、受信したMPUから不完全MPU指示子を検出し、ドロップされたMFUを無視し、受信したMFUを用いてMPUを復号することにより対応するメディアデータを生成する。
これまでは、送信エンティティ210がMMTサーバであると仮定して、輻輳制御に基づくMMTサーバのMPU送受信方式を説明した。以下では、図9を参照して、基地局が輻輳制御を実行する実施形態について説明する。しかしながら、図9の実施形態では、基地局がMMTサーバからMPUを受信し、MMTサーバのように輻輳制御を実行する機能を有すると仮定する。したがって、後述する「基地局」は、MMTサーバからMPUを受信し、輻輳制御を実行することによりMPUをUEに伝達できる任意のネットワークエンティティである。
図9は、本発明の他の実施形態に従ってネットワークエンティティである基地局803がMPUの輻輳制御を実行する場合の、MMTサーバ801、基地局803、及びUE805間のメッセージフローを示す図である。
図9の各過程は、説明の便宜上、各動作別に説明したが、各動作が相互に矛盾するか又は衝突しない限り、かならず順次に動作しなくてもよい。また、各ステップの動作が場合によって省略されてもよい。
ステップ911において、UE805は、UEの状態情報を生成し、この生成されたUEの状態情報を基地局803に送信する。この場合に、UE805は、UE805と基地局803との間のネットワーク状態を測定し、ネットワークの状態情報をともに送信できる。しかしながら、ステップ911は、省略されてもよい。
基地局803は、ステップ911で受信したUEの状態情報及び/又はネットワークの状態情報又は基地局803により測定されたネットワークの状態情報を用いて、ネットワーク状態がネットワーク輻輳であるか否かを判別する。
ステップ913において、MMTサーバ801は、MPUを基地局803に送信する。この場合に、MMTサーバ801により送信されたMPUは、MFUがドロップされていない完全なMPUである。基地局803は、すでにネットワーク状態がネットワーク輻輳であることを認識した状態でMMTサーバ801からMPUを受信したので、受信したMPUに対する輻輳制御を実行するためにMFUをドロップし、UE805に伝達することを決定できる。したがって、基地局803は、MFUの重要度に基づいてMPUからドロップするMFUを決定する。すなわち、MMTサーバ801は、MMTヒントトラック317内の「priority」及び「dependency counter」のうちの少なくとも1つを考慮して、ドロップする少なくとも1つのMFUを決定し、MPUファイルに不完全MPU指示子を含ませる。
ステップ915において、基地局803は、不完全MPU指示子を含み、MFUがドロップされたMPUをUE805に送信する。すなわち、MPUメタデータ内のmmpuボックスにおいて、「is complete」を特定の値として設定する。この後に、UE805は、受信したMPUから不完全MPU指示子を検出し、ドロップされたMFUを無視し、受信したMFUを用いてMPUを復号することにより対応するメディアデータを生成する。
図10は、本発明による送信エンティティ210のブロック図である。
送信エンティティ210は、図8を参照して説明したように、MMTであることが一般的であるが、他の実施形態では、図9を参照して説明したネットワークエンティティでもあり得る。
送信エンティティ210は、送受信部1001、制御部1003、及びMMTストリーム処理部1005を含む。送信エンティティ210は、ハードウェア、ファームウェア、ソフトウェアの中の少なくとも1つの組み合せを用いて実現できる。送信エンティティ210のエレメントの一例として、送受信部1001は、通常、モデム及びRF送受信器などで実現され、制御部1003は、アプリケーションプロセッサ(AP)のようなプロセッサで実現される。MMTストリーム処理部1005は、制御部1003の一部として構成されるか、又は制御部1003とは個別に構成される。
送受信部1001は、他のエンティティと信号を送受信する。送信エンティティ210がMMTサーバである場合に、送受信部1001は、基地局又は端末により生成されたネットワークの状態情報及び/又はUEの状態情報を受信し、MPUを基地局又は端末に送信する。送信エンティティ210が基地局のようなネットワークエンティティである場合には、送信エンティティ210は、MMTサーバからMPUを受信する。
制御部1003は、本発明による全般的な動作を制御する。ネットワーク状態がネットワークの状態情報及び/又はUEの状態情報に基づいてネットワーク輻輳であると判別する場合には、制御部1003は、輻輳制御を実行するためにMFUをドロップすることを決定する。送信エンティティ210がMMTサーバである場合には、送信エンティティ210は、基地局から輻輳制御指示又はMFUドロップ指示を受信するか、又は自身のネットワーク状態の判別に従ってMFUドロップを決定できる。送信エンティティ210が基地局のようなネットワークエンティティである場合には、基地局がMFUドロップを決定してもよい。
MFUドロップを決定した場合に、MMTストリーム処理部1005は、MFUの重要度に基づいてMPUからドロップするMFUを決定する。すなわち、MMTストリーム処理部1005は、MMTヒントトラック317内の「priority」及び「dependency counter」のうちの少なくとも1つを考慮してドロップする少なくとも1つのMFUを決定する。また、MMTストリーム処理部1005は、不完全MPU指示子をMPUファイルに含ませ、ドロップが決定されたMFUをドロップしたMPUを生成する。すなわち、MPUメタデータ内のmmpuボックスにおいて、「is complete」を特定の値に設定することによりMPUを生成する。
図11は、本発明による受信エンティティ220のブロック図である。
受信エンティティ220は、一般的にUEのようなUE装置である。
受信エンティティ220は、送受信部1101、制御部1103、及びMMTストリーム処理部1105を含む。受信エンティティ220は、ハードウェア、ファームウェア、ソフトウェアの中の少なくとも1つの組み合せを用いて実現できる。受信エンティティ220のエレメントの一例として、送受信部1101は、通常、モデム及びRF送受信器などで実現され、制御部1103は、アプリケーションプロセッサ(AP)のようなプロセッサで実現される。MMTストリーム処理部1105は、制御部1003の一部として構成されるか、又は制御部1003とは個別に構成される。
送受信部1101は、基地局と信号を送受信する。すなわち、送受信部1101は、ネットワークの状態情報及び/又はUEの状態情報を基地局に送信し、MPUを受信する。
制御部1103は、本発明に従う全動作を制御する。特に、制御部1103は、受信したMPUから不完全MPU指示子を検出する。すなわち、制御部1103は、MPUメタデータ内のmmpuボックスにおいて、「is complete」が特定の値に設定されるか否かを判定する。不完全MPU指示子が検出された場合に、制御部1103は、ドロップされたMFUを除外した残りのMFUにてMPUを復号するようにMMTストリーム処理部1105を制御する。
一方、受信エンティティ220は、不完全なMPUを受信する場合に、ドロップされたか又は受信されていないMFUのサイズを、mmpuヘッダ情報から知ることができる。したがって、受信エンティティ220は、削除されるか又は受信されないMFUのサイズだけのデータを対応するMPUに満たす。このようにして、復号化の間の問題の発生を防止する。例えば、MPU内に受信されないデータのサイズだけを「0」値で満たすことにより、復号器が復号動作を中断するエラーを防止できる。
また、mmpuにおいて、「is_complete」指示子が検出される場合に、対応するMPUを再構成するために必要とされる時間が減少する。受信エンティティ220は、受信されるMPUが不完全であることを予め知ることができるので、所定の時間の間にMPUを受信し、不完全なMPUを再び組み立てた後に、このMPUを復号化ステージに伝達できるからである。
MMTストリーム処理部1105は、ドロップされたMFUを除外した残りのMFUを用いてMPUを復元することにより、制御部1103の制御の下にメディアデータを生成する。
これまで、本開示の実施形態について詳細に説明した。本開示の実施形態による代表的な構成によると、相互に異なる受信信号に対して相互に異なる受信信号品質の基準値を適用した後に、対応する信号をフォーワーディングすることにより、特に、端末の送信リソース及び送信電力を効率的に使用できる。
本発明の実施形態の特定の態様は、コンピュータ読み取り可能な記録媒体上でコンピュータ読み取り可能なコードとして実現することもできる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読出し可能なデータを記憶できる任意のデータ記憶装置である。コンピュータ読み取り可能な記録媒体の例としては、読出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光学データ記憶装置、及び搬送波(インターネットを介したデータ送信の場合)が含まれる。また、上記コンピュータ読み取り可能な記録媒体は、コンピュータ読み取り可能なコードが配布される方式で記憶されて実行されるように、ネットワーク結合型コンピュータシステムを介して配布できる。更に、本発明を実行するための関数プログラム、コード及びコードセグメントは、本発明が属する技術分野で熟練したプログラマーにより本発明の範囲内で容易に解釈できるであろう。
本発明の一実施形態による装置及び方法は、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせの形態で実現することができる。このような任意のソフトウェアは、例えば、削除又は再記録が可能であるか否かに関係なく、ROMなどの記憶装置のような揮発性又は不揮発性記憶装置、又は、例えば、RAM、メモリチップ、装置又は集積回路のようなメモリ、あるいは、例えば、CD、DVD、磁気ディスク又は磁気テープなどの光学的又は磁気的に記録可能であると同時に、機械(例えば、コンピュータ)で読み取ることができる記憶媒体に記憶することができる。本発明の一実施形態による方法は、制御部及びメモリを含むコンピュータ又は携帯用端末により実現されてもよく、このメモリは、本発明の実施形態を実現する命令を含むプログラム又は複数のプログラムを格納するのに適した機械可読の記憶媒体の一例である。
従って、本発明は、本願明細書の任意の請求項に記載された装置又は方法を実現するためのコードを含むプログラム及びこのようなプログラムを格納する機械(例えば、コンピュータ)可読記憶装置を提供する。また、このようなプログラムは、有線又は無線接続を通じて送信される通信信号のような任意の媒体を通じて電子的に移送され、本発明は、これと均等なものを適切に含む。
また、本発明の一実施形態による装置は、有線又は無線で接続されるプログラム提供装置からプログラムを受信し格納することができる。プログラム提供装置は、プログラム処理装置が予め定められたコンテンツ保護方法を実行するようにする命令を含むプログラムと、コンテンツ保護方法に必要な情報を記憶するためのメモリと、グラフィック処理装置との有線又は無線通信を実行するための通信部と、グラフィック処理装置のリクエスト又は自動で対応するプログラムを送受信装置に送信する制御部とを含んでもよい。
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
MPUメタデータ310は、ftypボックス311、sidxボックス312、mmpuボックス313、moovボックス314、及びmoofボックス317を含む。ftypボックス311は、メディアデータのタイプ情報を含み、sidxボックス312は、MPUを構成するフラグメントのインデックス情報を含む。
moovボックス314は、メディアデータの復号及び提示のためのすべてのコーデック構成情報を含む。具体的に、moovボックス314は、少なくとも1つのメディアトラック316及びMFUのためのMMTヒントトラック315を含む。
MMTヒントトラック315は、MPUを含むメディアファイル300をMMTPのようなトランスポートプロトコルを用いてパケット化されたメディアストリームに変換するために必要とされる情報を含む。すなわち、MMTヒントトラック315は、1つのMPUを形成する複数のMFUを生成するために必要な情報を含む。特に、MMTヒントトラック315は、対応するMFUが1つのMPUに含まれた他のMFUに関する優先順位情報(「priority」)と、対応するMFUを参照して復号されるMFUの個数に関する情報(「dependency counter」)とを含む。
図3を参照して説明したように、MMTヒントトラック315は、他のMFUに対して対応するMFUの優先順位を示す「優先順位」情報と、対応するMFUを参照して復号されるMFUの個数に関する情報、すなわち、参照個数情報である「dependency counter」を含む。MMT標準で定義された「priority」又は「dependency counter」を用いて、対応するMFUの重要度情報を決定できる。すなわち、MFUの重要度情報は、対応するMFUの「優先順位情報」又は「参照個数情報」を含み、「優先順位情報」又は「参照個数情報」は、それぞれMMT標準で定義された「priority」又は「dependency counter」からわかる。例えば、ビデオアセットの場合に、ビデオを構成するIフレーム、Bフレーム、Pフレーム、及び制御情報のそれぞれに対応するMFUの「priority」又は「dependency counter」情報を用いて対応するフレーム又は制御情報の重要度を決定できる。
さらに図4を参照すると、送信エンティティ210がMFUの重要度情報、すなわち、MMTヒントトラック315内の「priority」及び「dependency counter」の中の少なくとも1つを考慮してMPUファイル405で2番目のMFU431をドロップすることを決定すると仮定する。
ステップ603において、MFUドロップの実行を決定するので、ステップ605において、送信エンティティ210は、MFUの重要度を考慮してMPU内でドロップするMFUを決定する。すなわち、送信エンティティ210は、MMTヒントトラック315内の「priority」及び「dependency counter」のうちの少なくとも1つを考慮してドロップする少なくとも1つのMFUを決定する。
ネットワークの状態情報及び/又はUEの状態情報を受信したMMTサーバ801は、この受信された情報を用いてMFUドロップを実行するか否かを決定する。他の実施形態において、基地局803は、ネットワークの状態情報及び/又はUEの状態情報に基づいてMFUドロップを実行するか否かを決定し、実行すると決定した場合に、基地局803がMFUドロップを実行するように送信エンティティ210に指示することができる。MFUドロップの実行が決定されると、MMTサーバ801は、MFUの重要度に基づいてMPU内でドロップするMFUを決定する。すなわち、MMTサーバ801は、MMTヒントトラック315内の「priority」及び「dependency counter」のうちの少なくとも1つを考慮してドロップする少なくとも1つのMFUを決定し、不完全MPU指示子をMPUファイルに含ませる。
ステップ913において、MMTサーバ801は、MPUを基地局803に送信する。この場合に、MMTサーバ801により送信されたMPUは、MFUがドロップされていない完全なMPUである。基地局803は、すでにネットワーク状態がネットワーク輻輳であることを認識した状態でMMTサーバ801からMPUを受信したので、受信したMPUに対する輻輳制御を実行するためにMFUをドロップし、UE805に伝達することを決定できる。したがって、基地局803は、MFUの重要度に基づいてMPUからドロップするMFUを決定する。すなわち、MMTサーバ801は、MMTヒントトラック315内の「priority」及び「dependency counter」のうちの少なくとも1つを考慮して、ドロップする少なくとも1つのMFUを決定し、MPUファイルに不完全MPU指示子を含ませる。
MFUドロップを決定した場合に、MMTストリーム処理部1005は、MFUの重要度に基づいてMPUからドロップするMFUを決定する。すなわち、MMTストリーム処理部1005は、MMTヒントトラック315内の「priority」及び「dependency counter」のうちの少なくとも1つを考慮してドロップする少なくとも1つのMFUを決定する。また、MMTストリーム処理部1005は、不完全MPU指示子をMPUファイルに含ませ、ドロップが決定されたMFUをドロップしたMPUを生成する。すなわち、MPUメタデータ内のmmpuボックスにおいて、「is complete」を特定の値に設定することによりMPUを生成する。

Claims (14)

  1. 通信システムにおけるデータを送信する方法であって、
    送信されるデータユニットに含まれたデータセグメント別重要度情報に基づいて送信しないデータセグメントを決定するステップと、
    前記データユニットに含まれた全データセグメントのうちの少なくとも1つのデータセグメントが送信されないことを示す不完全データ指示子を生成するステップと、
    前記送信しないと決定したデータセグメントを除外した残りのデータセグメント及び前記不完全データ指示子を送信するステップと
    を有することを特徴とする通信システムにおけるデータを送信する方法。
  2. 前記通信システムは、ムービングピクチャエクスパーツグループ(MPEG)メディアトランスポート(MMT)フォーマットをサポートし、前記データユニットは、前記MMTフォーマットのメディア処理ユニット(MPU)であり、前記データセグメントは、前記MMTフォーマットのMPUフラグメントユニット(MFU)であることを特徴とする請求項1に記載の通信システムにおけるデータを送信する方法。
  3. 前記重要度情報は、他のデータに対して対応するデータの優先順位を示す優先順位情報を有することを特徴とする請求項2に記載の通信システムにおけるデータを送信する方法。
  4. 前記重要度情報は、対応するデータを参照して復号しなければならないデータの個数を示す参照個数情報を有することを特徴とする請求項2に記載の通信システムにおけるデータを送信する方法。
  5. 前記不完全データ指示子として、前記MPUに関連したデータであるMPUメタデータに含まれた「is complete」情報を使用することを特徴とする請求項2に記載の通信システムにおけるデータを送信する方法。
  6. 前記送信しないデータセグメントを決定するステップの前に、ネットワークの状態情報及び端末(UE)の状態情報のうちの少なくとも1つを受信するステップと、
    前記受信された情報のうちの少なくとも1つに基づいて、前記データセグメントのうちの少なくとも1つのデータセグメントを送信しないことを決定するステップとをさらに有することを特徴とする請求項1に記載の通信システムにおけるデータを送信する方法。
  7. 通信システムにおけるデータを受信する方法であって、
    少なくとも1つのデータセグメントを有するデータユニットを受信するステップと、
    前記データユニットに含まれた全データセグメントのうちの少なくとも1つのデータセグメントが送信されないことを示す不完全データ指示子を受信するステップと、
    前記不完全データ指示子に基づいて、送信しないと決定したデータセグメントを除外した残りのデータセグメントを復号するステップと
    を有することを特徴とする方法。
  8. 前記通信システムは、ムービングピクチャエクスパーツグループ(MPEG)メディアトランスポート(MMT)フォーマットをサポートし、前記データユニットは、前記MMTフォーマットのメディア処理ユニット(MPU)であり、前記データセグメントは、前記MMTフォーマットのMPUフラグメントユニット(MFU)であることを特徴とする請求項7に記載の通信システムにおけるデータを受信する方法。
  9. 前記不完全データ指示子として、前記MPUに関連したデータであるMPUメタデータに含まれた「is complete」情報を使用することを特徴とする請求項8に記載の方法。
  10. 前記データユニットを受信するステップの前に、ネットワークの状態情報及び端末の状態情報のうちの少なくとも1つを送信するステップをさらに有することを特徴とする請求項7に記載の方法。
  11. 通信システムにおけるデータを送信する装置であって、
    送信されるデータユニットに含まれたデータセグメント別重要度情報に基づいて送信しないデータセグメントを決定する制御部と、
    前記データユニットに含まれた全データセグメントのうちの少なくとも1つのデータセグメントが送信されないことを示す不完全データ指示子を生成するデータ処理部と、
    前記送信しないと決定したデータセグメントを除外した残りのデータセグメント及び前記不完全データ指示子を送信する送受信部と
    を有することを特徴とする通信システムにおけるデータを送信する装置。
  12. 請求項11の装置は、請求項2乃至請求項6のうちのいずれか1項に従って動作するように構成されることを特徴とする通信システムにおけるデータを送信する装置。
  13. 通信システムにおけるデータを受信する装置であって、
    少なくとも1つのデータセグメントを有するデータユニットと、前記データユニットに含まれた全データセグメントのうちの少なくとも1つのデータセグメントが送信されないことを示す不完全データ指示子を受信する送受信部と、
    前記不完全データ指示子に基づいて、送信しないと決定したデータセグメントを除外した残りのデータセグメントを復号するように制御する制御部と
    を有することを特徴とする通信システムにおけるデータを受信する装置。
  14. 請求項13の装置は、請求項8乃至請求項10のうちのいずれか1項に従って動作するように構成されることを特徴とする通信システムにおけるデータを送信する装置。
JP2017500078A 2014-07-04 2015-07-06 通信システムにおけるデータ送受信装置及び方法 Active JP6732725B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140083990A KR102196492B1 (ko) 2014-07-04 2014-07-04 통신 시스템에서 데이터 송수신 장치 및 방법
KR10-2014-0083990 2014-07-04
PCT/KR2015/006968 WO2016003254A1 (ko) 2014-07-04 2015-07-06 통신 시스템에서 데이터 송수신 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2017528024A true JP2017528024A (ja) 2017-09-21
JP6732725B2 JP6732725B2 (ja) 2020-07-29

Family

ID=55019685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017500078A Active JP6732725B2 (ja) 2014-07-04 2015-07-06 通信システムにおけるデータ送受信装置及び方法

Country Status (5)

Country Link
US (1) US10701408B2 (ja)
JP (1) JP6732725B2 (ja)
KR (1) KR102196492B1 (ja)
CN (1) CN106471812B (ja)
WO (1) WO2016003254A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101743441B1 (ko) * 2015-02-13 2017-06-05 에스케이텔레콤 주식회사 기지국 연동 노드를 통한 스트리밍 데이터 제공 방법, 이를 위한 기지국 연동 노드
KR101860647B1 (ko) * 2016-12-01 2018-05-23 한국전력공사 데이터 집중 장치 및 이의 동작 방법
US10674394B2 (en) * 2017-10-27 2020-06-02 Futurewei Technologies, Inc. Method and apparatus for reducing network latency
JP7157334B2 (ja) * 2019-02-18 2022-10-20 日本電信電話株式会社 メッセージ中継装置及び方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077240A (ja) * 2000-09-04 2002-03-15 Matsushita Electric Ind Co Ltd フロー制御方式およびそれを実行する送信端末
JP2004120609A (ja) * 2002-09-27 2004-04-15 Mitsubishi Electric Corp 動画像伝送システム、救急医療用伝送システム及び動画像伝送装置
JP2011172153A (ja) * 2010-02-22 2011-09-01 Mitsubishi Electric Corp メディア符号化伝送装置
WO2014058276A1 (en) * 2012-10-11 2014-04-17 Samsung Electronics Co., Ltd. Apparatus and method for delivering and receiving multimedia data in hybrid network

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044079A (en) * 1997-10-03 2000-03-28 International Business Machines Corporation Statistical packet discard
US7808900B2 (en) * 2004-04-12 2010-10-05 Samsung Electronics Co., Ltd. Method, apparatus, and medium for providing multimedia service considering terminal capability
US8702502B2 (en) * 2005-11-10 2014-04-22 Wms Gaming Inc. Authenticating files in wagering game machines
US20070201365A1 (en) * 2006-01-23 2007-08-30 Frederick Skoog Video packet multiplexer with intelligent packet discard
US7953880B2 (en) * 2006-11-16 2011-05-31 Sharp Laboratories Of America, Inc. Content-aware adaptive packet transmission
JP5335224B2 (ja) * 2007-11-27 2013-11-06 三菱電機株式会社 Hdmi送受信システム
KR101056021B1 (ko) * 2008-03-26 2011-08-10 주식회사 코아로직 차등적 데이터 전송 장치와 재생 장치 및 그 방법과 시스템
KR100896688B1 (ko) * 2008-05-15 2009-05-14 경희대학교 산학협력단 단말의 성능을 고려한 멀티미디어 서비스 제공방법 및 그에사용되는 단말기
EP2356812B1 (en) * 2008-11-12 2015-06-10 Cisco Technology, Inc. Processing of a video program having plural processed representations of a single video signal for reconstruction and output
US8345545B2 (en) * 2009-01-28 2013-01-01 Nec Laboratories America, Inc. Methods and systems for rate matching and rate shaping in a wireless network
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
US8531961B2 (en) * 2009-06-12 2013-09-10 Cygnus Broadband, Inc. Systems and methods for prioritization of data for intelligent discard in a communication network
CN101656756B (zh) 2009-09-17 2012-09-05 中国科学院声学研究所 一种发送速率自适应控制的文件传输方法及其系统
EP2685742A4 (en) * 2011-04-07 2014-03-05 Huawei Tech Co Ltd METHOD, DEVICE AND SYSTEM FOR SENDING AND PROCESSING MEDIA CONTENT
CN103733679A (zh) * 2011-05-26 2014-04-16 三星电子株式会社 用于图像数据发送和接收的方法和设备
KR20120138604A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR20140002447A (ko) * 2012-06-29 2014-01-08 삼성전자주식회사 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
US8914537B2 (en) * 2012-08-07 2014-12-16 Intel Mobile Communications GmbH Methods and apparatuses for rate adaptation of quality of service based application
US9923830B2 (en) * 2013-04-18 2018-03-20 Samsung Electronics Co., Ltd. Method and apparatus for controlling media delivery in multimedia transport network
US9459929B2 (en) * 2013-08-09 2016-10-04 Hong Kong Applied Science and Technology Research Institute Company Limited Configurable dynamic load shedding method in distributed stream computing system
US9788078B2 (en) * 2014-03-25 2017-10-10 Samsung Electronics Co., Ltd. Enhanced distortion signaling for MMT assets and ISOBMFF with improved MMT QoS descriptor having multiple QoE operating points

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077240A (ja) * 2000-09-04 2002-03-15 Matsushita Electric Ind Co Ltd フロー制御方式およびそれを実行する送信端末
JP2004120609A (ja) * 2002-09-27 2004-04-15 Mitsubishi Electric Corp 動画像伝送システム、救急医療用伝送システム及び動画像伝送装置
JP2011172153A (ja) * 2010-02-22 2011-09-01 Mitsubishi Electric Corp メディア符号化伝送装置
WO2014058276A1 (en) * 2012-10-11 2014-04-17 Samsung Electronics Co., Ltd. Apparatus and method for delivering and receiving multimedia data in hybrid network

Also Published As

Publication number Publication date
WO2016003254A1 (ko) 2016-01-07
KR102196492B1 (ko) 2020-12-30
US20170155930A1 (en) 2017-06-01
US10701408B2 (en) 2020-06-30
CN106471812A (zh) 2017-03-01
JP6732725B2 (ja) 2020-07-29
CN106471812B (zh) 2019-11-19
KR20160004856A (ko) 2016-01-13

Similar Documents

Publication Publication Date Title
US10291535B2 (en) Method and apparatus for controlling media delivery in multimedia transport network
CN107196941B (zh) 用于传送和接收媒体数据的接口装置和方法
CN107210999B (zh) 链路感知流送自适应
US10630603B2 (en) Method and apparatus for transmitting a multimedia data packet using cross-layer optimization
JP6732725B2 (ja) 通信システムにおけるデータ送受信装置及び方法
KR20200090149A (ko) 업 링크 스트리밍을 위한 네트워크 지원
EP3262845B1 (en) Delay compensation for broadcast adaptive bitrate streaming
JP6553166B2 (ja) マルチメディアシステムにおけるメディアパケットを受信する方法及び装置
JP2015537430A (ja) マルチメディア通信システムにおけるマルチメディアデータ配信特性情報を送受信する装置及び方法
EP3343979B1 (en) Apparatus and method for providing data service using heterogeneous network
CN107113459B (zh) 记录有用于提供网络自适应内容的程序的计算机可读记录介质和用于提供网络自适应内容的装置
US11102263B2 (en) Method and apparatus for transmitting/receiving packet in multimedia system
US10476994B2 (en) Devices and methods for transmitting/receiving packet in multimedia communication system
KR20160000722A (ko) 통신 시스템에서 이종 네트워크를 통하여 멀티미디어 콘텐츠를 송수신하는 방법 및 장치
JP6970124B2 (ja) Mmtpパケットを送受信する方法及びその装置
BR112017018324B1 (pt) Método para gerenciar um tempo inicial de conteúdo de mídia em um aparelho receptor, memória não transitória legível por computador e aparelho receptor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180514

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200401

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200708

R150 Certificate of patent or registration of utility model

Ref document number: 6732725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250