JP2015528251A - マルチメディア伝送システムにおけるメディアデータの伝送方法及び装置 - Google Patents

マルチメディア伝送システムにおけるメディアデータの伝送方法及び装置 Download PDF

Info

Publication number
JP2015528251A
JP2015528251A JP2015523039A JP2015523039A JP2015528251A JP 2015528251 A JP2015528251 A JP 2015528251A JP 2015523039 A JP2015523039 A JP 2015523039A JP 2015523039 A JP2015523039 A JP 2015523039A JP 2015528251 A JP2015528251 A JP 2015528251A
Authority
JP
Japan
Prior art keywords
payload
data
multimedia
mpu
mmtp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015523039A
Other languages
English (en)
Other versions
JP5898380B2 (ja
Inventor
キュン−モ・パク
スン−オ・ファン
スン−リュル・リュ
ジェ−ヨン・ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015528251A publication Critical patent/JP2015528251A/ja
Application granted granted Critical
Publication of JP5898380B2 publication Critical patent/JP5898380B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614Multiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4381Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Abstract

MPEG(Moving Picture Experts Group)メディア伝送(MMT)システムにおけるマルチメディアデータを送信する方法が提供される。この方法は、一つ以上のMFU(Media Fragment Units)に分割されたMPU(Media Processing Unit)を受信する過程と、前記MPUに基づいて、各々パケットヘッダとペイロードを含む、一つ以上のマルチメディアパケットを生成する過程と、前記一つ以上のマルチメディアパケットを端末へ伝送する過程とを含む。前記ペイロードに含まれたペイロードヘッダは、ペイロードに含まれた少なくとも一つのMFUが属しているMPUを指示する識別情報と、前記少なくとも一つのMFUの数を指示するカウンタとを含む。

Description

本発明は、マルチメディアサービスを提供するマルチメディア伝送システムにおいて、マルチメディア伝送パケットを生成し伝送する装置及びその方法に関する。
一般に、マルチキャスト、ブロードキャスト及び画像電話のようなインタラクティブサービス、ビデオオンデマンド(Video on Demand: VOD)サービスのようなストリーミングサービスなどを、マルチメディアサービスという。このようなマルチメディアサービスは、リアルタイムマルチメディアサービスと、非リアルタイムマルチメディアサービスとに分類することができる。リアルタイムマルチメディアサービスは、ユーザの数によって、ユニキャストサービス、マルチキャストサービス、及びブロードキャストサービスに分類することができる。また、リアルタイムマルチメディアサービスは、サービスの形態によって、インタラクティブサービス、及びストリーミングサービスに分類することができる。
従来のマルチメディアネットワークでは、マルチメディアコンテンツの伝送のために、MPEG(Moving Picture Experts Group)−2 TS(Transport Stream)が使われた。MPEG−2 TSは、エラーのある固定的な帯域幅を提供する伝送環境の下で、複数のマルチメディアプログラム(例えば、複数のコード化されたビデオビット列)の多重化されたビット列を伝送するための伝送技術として使われている。例えば、MPEG−2 TSは、マルチメディアの時代に、デジタルテレビのようなマルチメディア装置で適切に使われた。
図1は、従来のMPEG−2 TSをサポートするための階層構造を示す。
図1を参照すると、MPEG−2 TSをサポートするための階層は、メディアコーディング階層110、同期階層120、伝達階層130、ネットワーク階層140、データリンク階層150、及び物理階層160を含む。
メディアコーディング階層110と同期階層120とは、メディアデータを記録できるか、又は送信の基本単位として容易に使用できるフォーマットで構成してもよい。そして伝達階層130、ネットワーク階層140、データリンク階層150、及び物理階層160は、同期階層120により構成されたフォーマットのデータブロック(例えば、「AU(Access Unit)」)を別途の記録媒体に記録するか、伝送のためのマルチメディア伝送パケットとして構成する。前記構成されたマルチメディア伝送パケットは、所定のネットワークを通じて加入者端末に伝送される。
このために、同期階層120は、フラグメントブロック122と、アクセスユニット124とを含んでもよい。また、伝達階層130は、MPEG−2 TS/MP4 RTP(Real Time Transport Protocol)ペイロードフォーマット/FLUTE(File deLivery over Unidirectional Transport)132、RTP/HTTP(Hyper Text Transfer Protocol)134、及びUDP(User Datagram Protocol)/TCP(Transmission Control Protocol)136を含んでもよい。
しかし、MPEG−2 TSは、マルチメディアサービスをサポートするに当って、いくつかの限界がある。具体的に、MPEG−2 TSの限界には、単方向通信、固定されたパケットサイズによる伝送の非効率性、及びオーディオ/ビデオに特化された伝送プロトコル及びインターネットプロトコル(IP)を用いてデータを伝送する際に生じ得る不要なハンドオーバーが含まれる。
したがって、MPEGでは、MPEG技術に基づいて、マルチメディアサービスをサポートするためのマルチメディア伝送技術のうちの一つとして、MMT(MPEG Media Transport)標準を新しく提案している。特に、MMT標準は、MPEG−2 TSの限界を克服するために、MPEGにより提案された。
例えば、MMT標準は、異種ネットワークを通じてハイブリッドコンテンツを効率良く伝送するために適用し得る。ここで、ハイブリッドコンテンツとは、オーディオ、ビデオ、アプリケーションなどによるマルチメディア要素を有するコンテンツの集合を意味する。そして、異種ネットワークとは、マルチメディアネットワークと、通信ネットワークなどが混在しているネットワークを意味する。
また、MMT標準は、現在マルチメディアサービスのための伝送ネットワークにおける基本技術であるIPに親和的な伝送技術を定めることを目的としている。
従って、MMT標準は、IPに基づいて変化する代表的なマルチメディアサービス環境において、効率的なMPEG伝送技術を提供するためのものであり、持続的な研究とともに標準化が進んでいる。
上記の情報は、専ら本発明の開示の理解を助けるための背景情報として提示される。上記のいずれかが、本発明に関する先行技術として適用できるかどうかについては、確認されず、断定されない。
特に、MMT標準では、単一の端末が、複数のネットワークに繋がって、マルチメディアサービスを提供するハイブリッドネットワーク環境において、またオーディオ及びビデオデータのみならず、アプリケーション、ウィージェット、イメージなどから構成され、またユーザの端末で消費できるハイブリッドコンテンツを提供しようとする最近のマルチメディアサービス環境において、効率的なMPEG伝送技術を提供するための方策作りが必要である。
本発明の目的は、少なくとも前述の問題及び/又は不利点に取り組んで、少なくとも後述する利点を提供することにある。従って、本発明の目的は、インターネットプロトコル(IP)に基づいて、マルチメディアサービスをサポートするマルチメディアシステムにおけるマルチメディア伝送パケットを構成する方法及び装置を提供することにある。
本発明の他の目的は、MMT技術に基づいて生成されたハイブリッドコンテンツ又はハイブリッドサービスのためのマルチメディアデータに基づいて、マルチメディア伝送パケットを生成し、これを伝送する方法及び装置を提供することにある。
本発明の一態様によると、マルチメディア伝送システムにおけるメディアデータを伝送する方法が提供される。この方法は、一つ以上のサブデータユニットに分割されるデータユニットに基づいて、一つ以上のマルチメディアデータパケットを生成する過程と、各マルチメディアデータパケットは、パケットヘッダとペイロードとを含み、前記一つ以上のマルチメディアデータパケットを、受信エンティティへ伝送する過程とを含み、前記ペイロードのペイロードヘッダは、前記データユニットの分割指示子と、前記データユニットのフラグメントタイプ情報とを含む。
本発明の一実施形態では、IPネットワークを通じてハイブリッドサービス又はコンテンツを伝送するためのマルチメディアペイロードを構成し、これに基づいて、マルチメディアパケットを生成し、伝送する方法を提供することにより、マルチメディア環境で効率的なMPEG伝送をサポートすることができる。
本発明の特定の実施形態の上記の態様及び他の態様、特徴、及び利点は、添付の図面と共に、以下の詳細な説明からより明らかである。
従来のMPEG−2 TSをサポートするための階層構造を示す図である。 本発明の一実施形態によるMMTシステムにおいて、インターネットプロトコル(IP)ネットワークを通じて、MMTPパケットに基づいたマルチサービス/コンテンツを伝送するためのマルチメディアペイロードの構造を示す図である。 本発明の一実施形態によるMMTシステムにおいて、MMTPパケットを構成し、これを伝送するための制御フローチャートである図である。 本発明の一実施形態によるMPU構成の一例を示す模式図である。 本発明の一実施形態により、図4aのMPUファイルに基づいて生成可能なMFUの構成例を示す図である。 本発明の一実施形態によるMFUの詳細な構成の一例を示す図である。 本発明の一実施形態により、図4cのMFUに基づいて構成されるペイロードの構成例を示す図である。 図4aのMPUファイルに基づいて構成されたMPU/MFUビルディングブロックからペイロードを構成し、本発明の一実施形態によるMMTPパケットを生成する方法の一例を示す図である。 本発明の一実施形態によりリアルタイムの必要条件に従い識別されるMPU構成の一例を示す図である。 本発明の一実施形態によりリアルタイムの必要条件に従い識別されるMPU構成の一例を示す図である。 本発明の一実施形態により、図6aのリアルタイムマルチメディアサービスを提供するMPUを、ペイロード単位で構成する場合の一例を示す図である。 本発明の一実施形態により、図6bの非リアルタイムマルチメディアサービスをペイロード単位で構成する場合の一例を示す図である。 本発明の一実施形態によるMMTシステムにおけるメディアデータを送信するための送信エンティティを示す図面である図である。 本発明の一実施形態によるMMTシステムにおけるメディアデータを受信するための受信エンティティを示す図面である図である。
図面において、類似の部分、構成要素、及び構造については同様の参照番号を付ける。
添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供されるものである。この理解を助けるために様々な特定の詳細を含むが、これらは単なる一つの実施例に過ぎない。従って、本発明の範囲及び趣旨を逸脱することなく、ここで説明する実施形態の様々な変更及び修正が可能であることは、当該技術分野における通常の知識を有する者には明らかである。また、明瞭性と簡潔性の観点から、よく知られている機能や構成に関する具体的な説明は省略する。
以下の詳細な説明及び特許請求の範囲において使われる用語及び単語は、文献上の意味に限定されず、専ら発明者により、本発明の明確で、かつ一貫した理解を可能にするのに使われる。したがって、添付した特許請求の範囲及びこれらの均等物により定義されるように、本発明の実施形態の説明が単に実例を提供するためのものであって、本発明の目的を限定するものでないことは、当該技術分野における通常の知識を有する者には明らかである。
明細書において明確に言及しない限り、「a」、「an」、及び、「the」の単数形態は、複数の対象を含む。従って、例えば、「a component surface」への言及は、そのようなsurfaceの一つ又はそれ以上への言及を含む。
用語「実質的に(substantially)は、挙げられた特徴、パラメータ、又は値が、必ずしも正確に成し遂げられる必要はないが、例えば、公差、測定エラー、測定精密限界及び当該技術分野における当業者に知られた他の要因を含めて、変動又は号差が、提供しようとする特徴に影響を及ばないほど起こり得ることを意味する。
後述する本発明の実施形態では、MMT標準において定義している階層構造について説明する。また、本発明の一実施形態では、マルチメディア伝送パケットを構成する方策を提案する。これによって、MMT標準で定義している階層構造において、本発明の一実施形態によるマルチメディアデータパケットを生成するための階層と関連した動作を具体的に説明する。本明細書において、MMTサービスのためのマルチメディア伝送パケット(以下、MMTPパケットと称する)は、MMTコンテンツから構成された伝送ペイロードを伝送するパケットとして定義される。本発明の一実施形態によるMMTP(MMT Protocol)パケットは、要求の伝送情報と関連付けのQoS(Quality of Service)情報を含む。
以下、本発明の一実施形態では、MMTPパケットを生成するためのヘッダ情報の構成についてより具体的に説明する。前記ヘッダ情報は、MMTPパケットのペイロードが、上位階層において所定のサイズ単位で提供されるマルチメディアデータを分割するか、又は結合して、所望のサイズのマルチメディアデータを構成するなどの情報を含む。
本発明の一実施形態では、MMT標準に基づいたマルチメディアシステム(以下、MMTシステムと称する)によるMMTサービスを概念的に含む。
前記MMTサービスのためのコンテンツとして、UHD(Ultra High Definition)、VOD(Video on Demand)、ライブストリーミング(Live Streaming)、ファイル(File)、ウィージェット(Widget)、電子ブック(E-book)、メタデータ(metadata)などを仮定している。しかし、電気的信号として表現可能な他のコンテンツを全て、前記MMTサービスのためのコンテンツとしてもよいことは、当業者には明らかである。
前記の多様なコンテンツ各々のためのマルチメディアデータは、MMTカプセル化装置(MMT encapsulator)により、所定のフォーマットにカプセル化してもよく、MMTPパケットを構成し、その後、MMTPパケットを、異種ネットワークを通じて加入者端末へハイブリッド伝達してもよい。前記異種ネットワークとは、マルチメディアネットワークと、IPネットワークなどが混在している伝送環境のネットワークを意味する。
前記異種ネットワークを通じて、ハイブリッド伝達が行われたMMTPパケットを受信すると、加入者端末は、前記MMTPパケットから、所望のコンテンツに相当するマルチメディアデータを抽出し、前記抽出したマルチメディアデータに対応するビデオ、オーディオ、アプリケーションなどをユーザに提供する。この際、特定のコンテンツのために提供されるビデオ、オーディオ、アプリケーションなどに対応するマルチメディアデータの各々を「アセット(asset)」と定義している。また、加入者端末とは、本発明の一実施形態において、マルチメディアサービスをサポートすることができる大部分の機器を含む意味として用いられる。前記加入者端末の代表的な例として、IPTV、スマートフォンなどが挙げられる。
したがって、前記MMTサービスにより達成できる目的は、高品質コンテンツ伝達(High Quality Content Delivery)、ハイブリッドコンテンツサポート(Hybrid Contents Support)、及びハイブリッドネットワークサポート(Hybrid Network Support)などにより達成することができる。
図2は、本発明の一実施形態によるMMTシステムにおいて、異種ネットワークを通じてMMTPパケットに基づいたマルチサービス/コンテンツを伝送するための階層構造の一例を示す。
図2を参照すると、MMTシステムにおいて、MMTPパケットを構成し、構成されたMMTPパケットを伝送するためには、複数、例えば、7個の階層が要求される。前記7個の階層は、メディアコーディング階層210、カプセル化階層(以下、「階層E」と称する)220、伝達階層(以下、「階層D」又は「階層T」と称する)230、290、ネットワーク階層240、データリンク階層250、物理階層260、及び、例えば、MMT C.1 270、MMT C.2 280を含む制御階層(以下、「階層C」と称する)を含んでもよい。
本発明の実施形態によると、前記7個の階層のうち、メディアコーディング階層210及び階層E220により、マルチサービス/コンテンツに基づいたマルチメディアデータが生成される。したがって、これらの2個の階層は、「マルチメディアデータ生成部」の構成として看做してもよい。また、前記7個の階層のうち、階層D230によりMMTPパケットが構成されることによって、階層D230は、「マルチメディアパケット構成部」の構成として看做してもよい。即ち、マルチメディアパケット生成部に該当する階層D230は、MMTPパケットを識別するためのパケット識別子(ID)と、ネットワーク階層における連結サービスの品質、及び終端間のネットワーク性能を測定するために要求される情報によって、ヘッダ情報を構成し、前記ヘッダ情報とマルチメディアデータとを組み合わせて、MMTPパケットを構成する。
一方、前記7個の階層のうち、階層E220、階層D230、階層D.3 290、階層C.1 270、及び階層C.2 280は、MMT標準のための関連度が非常に高い。階層E220は、ハイブリッドコンテンツの生成を担当し、階層D230及び階層D.3 290は、異種ネットワークを通じて、前記生成したコンテンツの効率的な伝送を担当し、MMT C.1 270及びMMT C.2 280は、前記ハイブリッドコンテンツの消費管理及び伝送管理のための全般的な操作を担当する。
階層E220は、MMT E.3階層222、MMT E.2階層224、及びMMT E.1階層226を含んでもよい。MMT E.3階層222は、メディアコーディング階層210から提供されるコード化されたマルチメディアデータを入力して、MMTサービスのための基本単位であるメディアデータフラグメント又はメディアプロセッシングユニットのフラグメント(fragment-of-media processing unit)(例えば、MFU(Media Fragment Unit))を生成する。MMT E.2階層224は、MMT E.3階層222により生成されたMFUを用いて、MMTサービスのためのメディア操作単位又はMPU(Media Processing Unit)を生成する。MMT E.1階層226は、MMT E.2階層224から提供されるMPUを組み合わせ、分割を介して、ハイブリッドコンテンツを生成し、この生成したハイブリッドコンテンツを格納及び伝送するためのフォーマットを生成する。
前記MPUは、前記アセット、マルチメディアデータの構成のために使われる。前記マルチメディアデータは、時限データか、非時限データである。単一アセットは、一つ以上のMPUのコレクションであり、したがって、MPUは、他のMPUとは独立的に復号可能な時限又は非時限のデータのためのコンテナである。具体的には、時限データの場合、ビデオが受信エンティティに提供され、前記ビデオは、一つ以上のイメージと、前記イメージの各々の処理のための構成情報などを含む。前記各々のイメージは、MFUに形成され、MFUが受信エンティティへ伝達され、MPUは、AUより小さいデータユニット、即ち、MFUに分割される。
階層D230は、MMT D.1階層232及びMMT D.2階層234を含む。MMT D.1階層232は、伝送しようとする個体単位、例えば、MPUを構成するMFUを、当該MMTPパケットの構造に対応するように構造化されたパケットペイロードに構成する役割を果す。MMT D.2階層234は、RTP(Real Time Transport Protocol)又はHTTP(Hyper Text Transfer Protocol)として類似の役割を果すアプリケーションプロトコル(AP: Application Protocol)を担当する。MMT D.3 階層290は、階層E220を構成する各階層と、階層D230を構成する各階層との間の最適化のための操作を実行する。
MMT C.1 270は、ハイブリッドコンテンツの生成及び消費と関連付いた情報を提供し、MMT C.2 280は、ハイブリッドコンテンツの伝送と関連付いた情報を提供する。
図3は、本発明の実施形態によるMMTシステムにおいて、MMTPパケットを構成し、これを伝送するための制御フローチャートである。
図3における操作は、図2に示した複数の階層のうち、階層D230を構成しているMMT D.2 234により行われる。
図3を参照すると、MMT D.2 234は、ステップ310において、MMT D.1 232からマルチメディアデータを受信する。MMT D.1 232からハイブリッドサービス又はハイブリッドコンテンツを提供するために十分なマルチメディアデータと、マルチメディアデータの各々に対応するMMTアセットが提供されてもよい。
ステップ312において、MMT D.2 234は、ステップ310で受信されたマルチメディアデータによって構成されたペイロードに基づいて、MMTPパケットを構成するためのヘッダ情報を構成する。前記ヘッダ情報は、下記の表5に示されるMMTPパケットヘッダ領域のヘッダ情報と、下記の表2に示されるペイロードヘッダに関する情報とを含む。前記ヘッダ情報は、MMTPパケットを識別するためのパケットID、ネットワーク階層における連結サービスの品質及び終端間のネットワーク性能を測定するために要求される情報のうちの少なくとも一つを含む。
ステップ314において、MMT D.2 234は、ハイブリッドマルチメディアサービスのためのMMTPパケットを構成する。即ち、MMT D.2 234は、ステップ310で受信されたマルチメディアデータと、ステップ312で構成されたヘッダ情報とを組み合わせて、MMTPパケットを構成する。
前記MMTPパケットを構成した後、MMT D.2 234は、ステップ316において、前記構成したMMTPパケットを、異種ネットワークを通じて加入者端末へ伝送する。
以下、本発明の一実施形態により、MMTサービスのためのMMTPパケットの伝送を担当する階層T.2によりMMTPパケットを構成する方法について具体的に説明する。本発明の一実施形態によるMMTPパケットは、ヘッダ領域と、ペイロード領域とを含む。本発明の一実施形態では、前記ヘッダ領域で記録されるヘッダ情報と、前記ペイロード領域で記録するマルチメディアデータについて定義すべきである。また、本発明の一実施形態によるMMTPパケットは、要求されるQoSを保証するように定義すべきである。
その上、本発明の一実施形態により構成されたMMTPパケットのフロー制御を行うことができる方策も、調えるべきである。また、本発明の一実施形態によるフロー制御及びQoSレベルによってIPプロトコルが提供する機能を代替することができなければならない。
最終的に、本発明の一実施形態では、伝送しようとする個体単位、例えば、MPUを伝送するために、階層T.2が、他の階層と情報を交換するための手続きと、この手続きにより交換される情報のコンテンツ及びその伝達方法についても定義すべきである。
下記の表1は、本発明の一実施形態によるMMTPパケットの構造の一例を示す。
Figure 2015528251
表1を参照すると、前記MMTPパケットは、MMTPパケットヘッダ領域と、MMTPペイロード領域とを含む。前記MMTPパケットヘッダ領域では、MMTPパケットにより伝送されるハイブリッドサービス/コンテンツのためのマルチメディアデータの受信に用いられる制御情報に相応するヘッダ情報が記録される。そして、前記MMTPペイロードの領域では、ハイブリッドサービス/コンテンツのためのマルチメディアデータが記録される。前記MMTPペイロード領域は、ペイロードヘッダと、ペイロードデータとを含む。
下記の表2は、MMTPパケットを構成しているMMTPペイロード領域で記録される前記ペイロードヘッダの構成の一例を示す。
Figure 2015528251
表2を参照すると、前記ペイロードヘッダは、以下のような情報を含む。ここで確認される名称、ビット数、及び値は、単に一つの実施であり、本発明の他の実施形態において変わってもよい。
−length(16bits):当該情報は、前記MMTPペイロードの長さを示す。当該MMTPペイロードの長さを保持するために、前記MMTPペイロードに偽データ(例えば、無効、暫定データなど)が含まれた場合、当該偽データは除いてもよい。
−type(8bits):前記MMTPペイロードに含まれるデータのタイプを示す。表3では、前記MMTPペイロードに含まれ得るデータのタイプの一例を示す。
Figure 2015528251
-MPU(0x00):MPUは、伝送しようとするMPUの内部構造情報を考慮せず、MMTPペイロードとして構成される場合である。これにより、当該MMTPペイロードは、一つのMPUを含むように構成されるか、前記ペイロードの長さより長いMPUの一部を含むように構成されてもよい。
-MPU metadata(0x02):伝送しようとするMPUの内部構造情報を考慮してMMTPペイロードを構成する場合、当該MMTPペイロードは、MPUメタデータ(metadata)を含む。前記MPUメタデータは、当該MMTPペイロードを構成しているMPUを処理するための制御情報であり、MFUをコードするためのコーデック(codec)パラメータに該当する。
-Fragment metadata(0x03):伝送しようとするMPUの内部構造情報を考慮して、MMTPペイロードを構成する場合、当該MMTPペイロードは、フラグメントメタデータを含む。前記フラグメントメタデータは、当該MMTPペイロードに含まれたMFUの各々のフラグメント単位についての制御情報を示す。
-MFU aligned(0x04):伝送しようとするMPUの内部構造情報を考慮して、MMTPペイロードを構成する場合、当該MMTPペイロードは、MFUの範囲を考慮して、MMTPペイロードが構成されてもよい。即ち、「MFU aligned」は、当該MMTPペイロードが、少なくとも一つのMFUを含む場合を示す。この場合、MMTPペイロードに、少なくとも一つのMFUは、MMTPペイロードの境界に位置合わせる。
-MFU(0x05):伝送しようとするMPUの内部構造情報を考慮して、MMTPペイロードを構成する場合、当該MMTPペイロードは、少なくとも一つのMFUフラグメントを含む。この場合、少なくとも一つのMFUフラグメントは、MMTPペイロードの長さを考慮せず、構成される。したがって、少なくとも一つのMFUフラグメントは、当該MMTPペイロードの長さより長いか、又は短くてもよい。具体的な例として、MMTPペイロードは、ペイロードの長さより長いMFUの部分を含むように構成されてもよい。
特定の実施形態として、MMTPペイロードは、このペイロードの長さより長いMFUの一部を含むように構成されてもよい。
f_i(2bits):MMTPペイロード単位の範囲を示す分割指示子を示す。下記の表4は、前記分割指示子の値の一例を示す表である。
Figure 2015528251
表4を参照すると、f_i=「00」は、MMTPペイロードが、少なくとも一つの完全なDU、MPUを含む場合を示す。本発明の一実施形態による前記DUは、当該データの特性によってMFUに対応してもよく、MPUに対応してもよい。前記DUが、リアルタイムマルチメディアサービスのためのデータのDUであると仮定すると、前記DUはMFUに対応する。この場合、f_i=「00」は、MMTPペイロードが、MFU単位で構成され、少なくとも一つのMFUを含む場合を示してもよい。前記DUが一つのイメージである場合を仮定すると、前記DUはMPUに対応する。この場合、f_iが「00」の値を有すると、MMTPペイロードが、一つのMPUとして構成されてもよい。また、f_i=「01」は、MMTPペイロードが、DUを構成しているDUフラグメントのうち、一番目のDUフラグメントを含む場合を示す。この場合、前記DUがMFUである場合を仮定すると、MMTPペイロードは、f_iの値が「01」である場合、前記MFUの分割により得られるMFUフラグメントのうち、第1MFUフラグメントを含んでもよい。f_iの値が「10」であると、MMTPペイロードは、DUを構成しているDUフラグメントのうち、一番目のDUフラグメントと、最後のDUフラグメント以外のDUフラグメントを含む。例えば、前記DUが、3個のDUフラグメントを含む場合、f_iの値が「10」であると、前記MMTPペイロードは、中央のDUフラグメントを含む。最終的に、f_i=「11」の場合、MMTPペイロードは、DUを構成しているDUフラグメントのうち、最後のDUフラグメントを含む。
- fragmentation_flag(F:1bit):当該MMTPペイロードが分割されたMPU(例えば、MFU)を伝送する場合、fragmentation_flagは、「1」と表示されてもよい。
- aggregation_flag(A:1bit):当該MMTPペイロードが、複数個のMPUを伝送する場合、aggregation_flagは、「1」と表されてもよい。
- RAP_flag(R:1bit): 当該MMTPペイロードに含まれたデータが、ランダムアクセスを許容するデータユニット(例えば、RAP: Random Access Point)を含む場合、RAP_flagは、「1」と表す。RAP_flagが「1」と表記されたデータは、当該データが直接デコード可能な状態であることを指示する情報である。例えば、MMTPペイロードが、任意のビデオを構成している時間上に連続した10個の場面の各々に対応するMPUを含む場合を仮定する。この場合、ペイロードヘッダは、MPUの各々に対応するRAP_flagを含んでもよい。具体的な例として、RAP_flagが「1」と表記されたMPUは、ビデオを構成しているフレームのうち、独立的にエンコードするフレーム(intra-coded frame、Iフレーム)に該当してもよい。
-payload_id(P: 1bit):当該MMTPペイロードに含まれるDUのメディア操作単位(例えば、MPU)に該当する識別子情報がある場合、payload_idは、「1」と表記される。
-extension_flag(E:1bit):当該MMTPペイロードの構造におけるヘッダ情報に拡張が必要である場合、extension_flagは、「1」と表記される。
-data_offset(8bits): 当該MMTPペイロードに含まれるペイロードデータの開始点のアドレスを示す。
-fragment_counter(frag_count: 8 bits):MMTPペイロードが、一つのMPUを分割して得られたMFUを含む場合、fragment_counterは、当該MMTPペイロードに含まれているMPUのMFUを指示する、ペイロード番号に該当する。
-number_data_unit(numDU: 4 bits):当該MMTPペイロードが、データユニットの個数を含む場合、例えば、当該MMTPペイロードが、複数個のMPUを含む場合、number_data_unit は、MPUの個数を示す。
-DU_offset(16bits):一つのMMTPペイロードを、複数個のMPUから構成して伝送する場合、DU_offsetは、前記MMTPペイロードを構成しているMPU各々の開始値を示す。ここで、DUはMPUに対応する。他の実施形態において、DU_offsetは、各MPUの長さで代替してもよい。この場合、numDUは使わなくてもよい。
-payload_id(32 bits)-MMTPペイロードが、MPUの分割により得られた少なくとも一つのMFUから構成されるか、或いはMMTPペイロードが、複数のMPUの組み合わせにより構成される場合、payload_idは、当該MMTPペイロードが含むMPUの識別子を示す。前記MPUの識別子は、送信側からマルチメディアデータを分割して、複数のマルチメディアパケットを介して伝送する場合、受信側において前記複数のマルチメディアパケットを介して受信した複数のマルチメディアデータを組立てるための用途として用いられてもよい。
‐payload_sequence_flag(P: 1bit):MMTPペイロードのシーケンス番号を指示するために1ビットと設定される。
‐payload_sequence_number(32bit):前記MMTPペイロードのシーケンス番号を示す。
前記payload_idの一例として、伝送されるマルチメディア伝送パケットの順序に対応するインデックスが用いられてもよく、場合によって、payload_idは、マルチメディア伝送パケット或いはアセットの識別子に対応するインデックスとして用いられてもよい。
その他に、一つのマルチメディア伝送パケットを構成しているMMTPペイロードの内に、複数のデータグラムが含まれてもよい。この場合、一つのMMTPペイロードに記録された複数のサービス又はコンテンツのそれぞれに相応するマルチメディアデータを分離し、ヘッダ情報に記録された長さを考慮して、前記分離したマルチメディアデータのみで独立的なデータグラムを獲得してもよく、前又は後に受信するマルチメディアデータとの組立てによりデータグラムを獲得してもよい。
下記の表5は、MMTPパケットを構成しているMMTPパケットヘッダ領域に記録されたヘッダ情報の一例を示す。
Figure 2015528251
-packet_id(16bits):MMTPパケットの識別子であり、同一のマルチメディアストリームに限って、同一のパケットの識別子を有する。換言すると、MMTPパケットの識別子は、一つのアセットのパケットを、他のアセットのパケットと識別するために、各アセットに割り当てられる。
-packet_sequence_number(32bits):MMTPパケットのシーケンス番号を示し、当該シーケンス番号は、伝送される全体のマルチメディア伝送パケット別に順次に増える番号と示してもよい。即ち、シーケンス番号は、各MMTPパケットについて一つ増加する任意の値であってもよい。しかし、シーケンス番号は、事前の構成設定の情報を通じて、同一のpacket_idのマルチメディア伝送パケット別に順次に増加してもよい。事前の構成設定の情報は、マルチメディアデータ制御情報に含まれて伝送される。
-timestamp(32bits):NTP(Network Time Protocol)時間情報に基づいて、MMTPパケットが伝送又は伝達される時点を示す。NTP時間情報は、協定世界時(UTC: Universal Time Cordinated)であって、終端間遅延の測定に使われてもよく、このNTP時間情報に基づいてビットレートを調整してもよい。
-QoS_classifier_flag(Q: 1bit)は、QoS分類情報を1ビットと設定する。
-FFC_type(FEC:2bits):FEC(Forward Error Correction)関連のタイプ情報を示す。
-type_of_bitrate(TB: 3bits): 当該情報は、当該マルチメディア伝送パケットのタイプを示す。下記の表6は、当該パケットのタイプの例を示す。ここで、当該マルチメディア伝送パケットのタイプは、当該パケットのビットレートによって識別されてもよい。このようなパケットのタイプは、受信端末或いは中間ネットワーク装置において、受信バッファの設定値及びパケットのスケジューリングに活用してもよい。例えば、当該パケットのタイプが、固定ビットレート(例えば、「000」)と設定された場合、受信端末のバッファ及び中間ネットワーク装置のパケットのスケジューラは、当該メディアの処理のために、固定サイズのバッファを用いるか、キュー(queue)管理のために、固定値と設定して用いる。
Figure 2015528251
以上、MMTPパケットの構造と、前記MMTPパケットを構成しているヘッダ領域に記録されたヘッダ情報のそれぞれについての定義及び構成例について調べてみた。
以下、本発明の一実施形態により、MPUに基づいてMMTPペイロードを構成し、MMTPペイロードを運搬するMMTPパケットを生成する方法について説明する。
図4aは、本発明の一実施形態によるMPU構成の一例を模式的に示す。
図4aを参照すると、MMTコンテンツから生成されたMPUファイル400は、ヘッダ情報402と、メディアデータであるMDAT404とを含む。前記ヘッダ情報402は、ファイルのタイプを示すFTYP(File Type)、MPUの構成情報であるMMPU、メディアのコーデック設定情報を示すMOOV、及び分割単位の詳細情報であるMOOF(Movie fragment)を含む。前記MDAT404は、コードされたメディアデータに該当するビデオサンプル(VS: Video Samples)406と、前記メディアデータの相互重要度、相互関連性、サイズなどのような、メディアのための付加情報に該当するヒントサンプル(HS: Hint Samples)408とを含む。図4aに示したように、複数のVSと複数のHSとは、それぞれMDATボックス(例えば、前記MDAT404)の内において、前記複数のVS406のように当該複数のVSのみからなり、複数のHS408のように、当該複数のHSのみからなってもよい。
MMTPパケットの生成のために、前記MPUファイル400に基づいて構成されるMMTPペイロードは、構成の過程において、通常、メディアデータと構造情報と区分けられて構成される。ここで、構造情報としては、FTYP、MMPU、MOOV、MOOFなどの前記ヘッダ情報402を含む。
前記MPUファイル400に基づいて、MMTPパケットを構成するためのMPU/MFUビルディングブロック410が構成される。前記MPU/MFUビルディングブロック410は、前記構造情報を含む独立した一つのペイロード(例えば、MPUメタデータ412と、当該HSとVSの対を含むMFUを含む。
例えば、一つのMFU414は、MDAT404においてVS#1とHS#1を含んでもよい。また、他の実施形態では、当該MDATのフラグメント単位(例えば、MFU或いはMPU)に一致するか、又は一致しないように、MMTPペイロードが構成されてもよい。例えば、MDATのフラグメント単位に一致しないように、MMTPペイロードが構成される場合、前記MMTPペイロードは、自体の長さより長いMFUのフラグメントを含んでもよい。このようなMMTPペイロードの構成は、先に説明したペイロードヘッダのタイプにより表示してもよい。以下、図4bを参照して具体的な例を説明する。
図4bは、本発明の一実施形態により図4aのMPUファイルに基づいて生成可能なMFUの構成例を示す。
図4bを参照すると、MMTPペイロード#1 422は、先に説明したヘッダ情報の構成要素(例えば、FTYP、MMPU及びMOOV)を含むMPUメタデータを含んでもよい。前記MPUメタデータは、独立のMPUからなってもよい。この場合、前記MMTPペイロード#1 422のパケットタイプは、MPUと示される。前記パケットタイプは、前記MMTPパケットヘッダの構成要素として含まれてもよい。また、前記MMTPペイロード#1 422のペイロードヘッダに含まれるタイプの値は、「MPUメタデータ」を示す表3の「0x01」と設定される。MMTPペイロード#2 424は、MOOFと、MDATのヘッダ部分から構成されるフラグメントメタデータを含んでもよい。この場合、前記MMTPペイロード#2 424のパケットタイプはMPUであり、前記MMTPペイロード#1 422のペイロードヘッダに含まれるタイプは、「フラグメントメタデータ」を示す表3の「0x02」と設定される。他の例として、MMTPペイロード#3 426は、MDATにおいて複数のVS(例えば、VS#2、VS#3及びVS#4)のみからなってもよい。この場合、前記複数のVSについての付加情報(例えば、各VSに該当する重要度、相互依存性情報、及び当該データサンプルの開始位置を指示するカウンタなど)をMMTヒントトラックの構成情報として構成する。また、前記MMTヒントトラックは、前記複数のVSを含むMFUの最前方に位置するMMTヒントトラックの構成情報として含んでもよい。以下、図4cを参照して、MFUの詳細構成の一例を開示する。
図4cは、本発明の一実施形態によるMFUの詳細構成の一例を示す。
図4cを参照すると、例えば、一つのMFU430は、同一の長さを有する複数のセッションに分割してもよい。他の実施形態では、前記MFU430は、異なる長さを有する複数のセッションに分割してもよい。そして、前記セッションのうち、第1セッション432は、前記MFU430を構成しているデータサンプルの前記MMThint trackを含む。さらに、他のセッションの各々は、前記MFU430を構成しているVSを、前記他のセッション各々のサイズによって割り当てる。この場合、本発明の一実施形態により、他のセッション各々は、少なくとも一つのVSを含むように構成されるか、一つのVSの一部を含むように構成されてもよい。
図4dは、本発明の実施形態により、図4cのMFUに基づいて構成されるペイロード構成の一例を示す。
図4dを参照すると、例えば、ペイロード440は、図4cのMFUを構成しているセッションのうちの一つのセッションに対応するセッション部444を含む。前記セッション部444は、先に説明したペイロードデータに対応する。また、前記セッション部444にペイロードヘッダ442を付着することによって、一つのペイロード440が生成される。前記ペイロード440は、表1のMMTペイロード領域に対応する。前記ペイロードヘッダ442は、前記セッション444についての重要度、相互依存性情報、及び当該データサンプルの開始位置を指示するカウンタを含む。したがって、前記セッション部444が、図4cのMFUを構成しているセッションのうちのMMThint trackを含む第1セッションの場合、前記ペイロードヘッダ442は、前記MMThint trackと重複する情報を含む。そして、前記セッション部444が、図4cのMFUを構成している他のセッションのうちの一つから構成される場合、前記他のセッション別の重要度、相互依存性情報、及び当該データサンプルの開始位置を指示するカウンタを含む。そしてから、前記ペイロード440にパケットヘッダ446が付着されると、MMTPパケット448が完成される。結果的に、MMTPパケット448は、パケットヘッダ446、ペイロードヘッダ442、及びペイロードデータに対応するセッション部444から構成される。他の実施形態では、MMTPパケットは、複数のペイロード440からなってもよい。
図5は、本発明の一実施形態により、図4aのMPUファイルに基づいて構成されたMPU/MFUビルディングブロックからペイロードを構成し、MMTPパケットを生成する方法の一例を説明するための図面である。
図4a及び図5を参照すると、図4aで説明した方法により構成されたMPUメタデータ412は、例えば、一つのMMTPペイロードの構成要素となってもよい。即ち、前記MPUメタデータ412は、ペイロードデータに対応し、前記MMTペイロード515aは、図4dに示したように、前記MPUメタデータ412に、ペイロードヘッダを付着して生成してもよい。
同様に、先に説明したMFU414は、また一つのMMTPペイロード515bの構成要素となってもよい。前記MFU414はまた、ペイロードデータに対応し、前記MMTPペイロード515bは、図4dに示したように、前記MFU414に、ペイロードヘッダを付着して生成する。また、他の例として、MOOF420のみから構成された一つのMFUも、またペイロードヘッダを付着することにより、一つのペイロード515cとして生成してもよい。前記ペイロードヘッダは、表2に示したように構成されてもよい。
なお、前述のように生成された少なくとも一つのMMTPペイロードに基づいて、MMTPパケット516が構成されてもよい。即ち、前記MMTPパケット516は、少なくとも一つのMMTPペイロード各々にパケットヘッダを付着して生成してもよい。前記パケットヘッダは、表5に示したように構成されてもよい。
図6a及び図6bは、本発明の一実施形態により、リアルタイムの要求に従い識別されるMPU構成の一例を示す。
まず、図6aは、本発明の一実施形態によるリアルタイムマルチメディアサービスを提供するMPUの構成の一例を示す。
図6aを参照すると、前記MPUは、例えば、ftyp/styp(stream type)ボックスとsidxボックス、mmpuボックス、moovボックス、moofボックス及びmdatボックスから構成されてもよい。ここで、ftyp、mmpu及びmoovボックスは、MPUメタデータの構成要素であり、前記sidxボックスは、リアルタイムマルチメディアサービスを提供するMPUについてのみ選択的に含まれてもよい。また、前記sidxボックスは、前記MPUを構成するMFUのインデックスである。前記moovボックスは、図6bの非リアルタイムマルチメディアサービスを提供するMPUと比べて、MMThint track情報の他に、media track情報を含む。前記MMThint track情報は、前記MPUに含まれたMDAT各々のMMThint trackの位置を指示する情報である。ユーザは、前記MMThint trackの位置を確認し、確認された位置を介して受信されるmdatについてのMMThint trackを獲得することができる。前記Media track情報の場合、前記MPUに含まれたMDAT各々の位置を指示する情報である。同様に、ユーザは、前記media track情報の場合、前記MPUに含まれたMDAT各々の位置を確認し、確認された位置を介してmdatを受信することができる。さらに、前記MPUが実質的に伝送するリアルタイムデータに対応するmoofボックスは、少なくとも一つのtrafを含む。前記trafは、前記mdatを構成するVSを復号化する時間を提供する。これに比べて、図6bは、非リアルタイムマルチメディアサービスを提供するMPUの構成の一例を示す。
図6bを参照すると、前記MPUは、ftypボックス、mmpuボックス、moovボックス、metaボックス及びitemボックスから構成されてもよい。前記moovボックスは、MMThint track情報のみから構成される。ここで、前記MMThint track情報は、受信されるitemボックス各々の位置を指示する情報である。そして、前記metaボックスは、前記MPUを構成するitemボックスの位置を指示する情報位置(iloc)を含む。
さらに、本発明の他の実施形態によるMPUは、データとファイル或いはアプリケーションによって構成されてもよい。
図7は、本発明の一実施形態により、図6aのリアルタイムマルチメディアサービスを提供するMPUを、ペイロード単位で構成する場合の一例を示す。
図7を参照すると、図6aのリアルタイムマルチメディアサービスを要求するMPUの構成要素のうち、ftyp、mmpu及びmoovボックスを、MPUmetadataとして定義して、一つのペイロード700を構成してもよい。また、mdatボックスと、この位置情報とを用いて、ペイロード702、704を構成してもよい。前記ペイロード702、704各々を構成するmdatボックスは、このペイロードを構成するMFUについてのフラグメントメタデータを示し、各mdatボックスは、複数のMFUに分割されてもよい。
図8は、本発明の一実施形態により、図6bの非リアルタイムマルチメディアサービスを、ペイロード単位で構成する場合の一例を示す。
図8を参照すると、図6bの非リアルタイムマルチメディアサービスを要求するMPUを構成するftyp、mmpu、moov及びmetaボックスをMPU metadataとして定義して、一つのペイロード800を構成してもよい。前記itemボックス各々が、一つのMFUとして、一つのペイロード802、804を構成してもよい。
図9は、本発明の一実施形態によるMMTシステムにおけるメディアデータを送信するための送信エンティティの構成の一例である。
図9を参照すると、MMTシステムにおけるメディアデータを伝送するための送信エンティティ900は、制御部902と、送受信部904と、MMTPパケット生成部906とを含む。前記送受信部910は、前記制御部920の制御の下で、前記MMTシステムにおけるマルチメディアデータの提供者から、マルチメディアデータを受信する装置と通信する。前記制御部902は、MMTPパケットを生成するために記載された動作を行うように、MMTPパケット生成部906を制御する。そしてから、前記MMTPパケット生成部906は、前記マルチメディアデータによって構成されるペイロードに基づいて、MMTPパケットを構成するためのヘッダ情報を構成する。そうすると、前記MMTPパケット生成部906は、ステップ312で構成されたヘッダ情報と共に、ステップ310に受信されたマルチメディアデータとを組み合わせることにより、一つ以上のMMTPパケットを構成する。前記生成されたMMTPパケットは、パケットヘッダと、ペイロードとを含み、前記ペイロードは、ペイロードヘッダと、ペイロードデータとを含む。前記ヘッダ情報は、下記表5に示されるMMTPパケットヘッダ領域のヘッダ情報と、表2に示されるペイロードヘッダに関する情報とを含む。パケットヘッダ及びペイロードヘッダに含まれたヘッダ情報は、例えば、ペイロードがMPUを含むことを指示する情報を含み、前記ペイロードデータが、MPUに分割された少なくとも一つのMFUを含む場合、前記ヘッダ情報は、前記ペイロードデータに含まれたデータタイプ及び少なくとも一つのMFUの位置情報を含む。前記制御部902は、MMTシステムにおけるメディアデータを送信するために、先に説明した動作を行うように送信部910を制御する。前記装置900は、データ構成素子及びメモリのような、他の構成素子を含む。
図10は、本発明の一実施形態によるMMTシステムにおけるメディアデータを受信するための受信エンティティの構成を示す。
図10を参照すると、MMTシステムにおけるメディアデータを受信するための受信エンティティ1000は、制御部1002と、送受信部1004と、MPU再構成部1006と、ディスプレイ部1008とを含む。前記送受信部1010が、前記制御部1002の制御の下で、前記MMTシステムにおけるメディアデータを送信するための装置と通信する。前記送受信部1010が、少なくとも一つのMMTPパケットを受信すると、前記制御部1002は、前記少なくとも一つのMMTPパケットのパケットヘッダ及びペイロードヘッダからヘッダ情報を獲得する。前記ヘッダ情報は、例えば、ペイロードデータがMPUを含むことを指示ずる情報を含み、前記ペイロードデータが、前記MPUに分割された少なくとも一つのMFUを含む場合、前記ヘッダ情報は、前記少なくとも一つのMFUの位置情報と、前記ペイロードデータに含まれたデータタイプを含む。
具体的に、前記制御部1002は、前記獲得したヘッダ情報に基づいて、MPU再構成部1006が、前記ペイロードデータに含まれたMPU或いはMFUを再構成するように制御する。再構成部1006は、前記ヘッダ情報を利用して、当該マルチメディアデータを構成するMPU或いは複数のMFUを確認する。そうすると、制御部1002は、確認されたMPU或いは複数のMFUを用いて、前記ディスプレイ部が、表示スクリーンイメージを介して、当該マルチメディアデータに対応するオーディオ、字幕などを提供するように制御する。そうすると、表示部1008は、表示スクリーンを介して、当該マルチメディアデータをディスプレイする。装置1000は、データ構成部及びメモリのような、他の構成素子を含んでもよい。
上記の説明から明らかなように、本発明の一実施形態は、IPネットワークを通じてハイブリッドサービス又はコンテンツを伝送するためのマルチメディアペイロードを構成し、これに基づいて、マルチメディアパケットを生成し、伝送する方法を提供し、これにより、マルチメディア環境において、効率的なMPEG伝送をサポートすることができる。本発明の一実施形態により前述した方法は、ハードウェア、ソフトウェア、又はこれらの組み合わせで実現することができる。このような任意のソフトウェアは、例えば、削除可能、又は再記録可能の可否に関係なく、ROM(Read-Only Memory)、RAM(Random-Access Memory)、メモリチップ、メモリデバイス、或いはIC(Intergrated Circuit)のようなメモリ、又はCD(Compact Disc)、DVD(Digital Versatile Disc)、磁気ディスク、又は磁気テープのような光学或いは磁気的に記録可能であると同時に機械(例えば、コンピュータ)読み取り可能な媒体に格納され得る。また、本発明の実施形態による前述の方法は、制御部及びメモリ(このメモリは、本発明の特定の実施形態を実現するための指示を含む一つ以上のプログラムを格納するために適切な機械で読み取れる持続性格納媒体の一例である)を含むコンピュータ及び携帯用端末により実現可能であることは自明である。
従って、本発明の一実施形態は、添付した特許請求の範囲に定義されているいずれかの方法を実現するためのコードを含むプログラム及びこのようなプログラムを格納する持続性機械(コンピュータ)で読み取リ可能な格納媒体を含む。また、このようなプログラムは、有線又は無線接続を通じて伝達される通信信号のような所定の媒体により電子的に移送でき、本発明は、これと均等なものを適切に含む。
以上、本発明の詳細な説明では、様々な実施形態について説明したが、添付の特許請求の範囲及びこれの均等なものにより定義されるように、本発明の趣旨及び範囲から逸脱せず、様々な変形及び詳細が可能であることは、当該技術分野における通常の知識を有する者には明らかである。
900 送信エンティティ
902 制御部
904 送受信部
906 MMTパケット生成部
1000 受信エンティティ
1002 制御部
1004 送受信部
1006 MPU再構成部
1008 ディスプレイ部

Claims (7)

  1. マルチメディア伝送システムにおけるメディアデータを送信する方法であって、
    一つ以上のサブデータユニットに分割されるデータユニットに基づいて、一つ以上のマルチメディアパケットを生成する過程と、各マルチメディアデータパケットは、パケットヘッダとペイロードとを含み、
    前記一つ以上のマルチメディアデータパケットを受信エンティティへ伝送する過程とを含み、
    前記ペイロードのペイロードヘッダは、前記データユニットの分割指示子と、前記データユニットの分割タイプ情報とを含む、方法。
  2. 前記分割指示子は、
    前記ペイロードのペイロードデータが、一つ以上のデータユニットを含むことを指示する情報、又は、前記ペイロードに含まれたサブデータユニットの位置情報を含む、請求項1に記載の方法。
  3. 前記サブデータユニットの位置情報は、
    前記データユニットの第1部分、前記データユニットの最終部分、及び前記第1部分と前記最終部分とでもないサブデータユニットのうち、いずれかを指示する、請求項1に記載の方法。
  4. 前記分割タイプ情報は、
    前記ペイロードのペイロードデータが、前記データユニットのメタデータ及び少なくとも一つのサブデータユニットのデータの少なくとも一つを含むことを指示する情報を含む値を含む、請求項1に記載の方法。
  5. 前記値は、前記ペイロードのペイロードデータが、少なくとも一つのデータサブ単位のメタデータを含むことを指示する情報を含む、請求項4に記載の方法。
  6. 前記ペイロードヘッダは、
    前記ペイロードデータが、一つ以上のデータユニットを含むか否かを指示する集合フラグを含む、請求項1に記載の方法。
  7. 前記ペイロードヘッダは、
    前記ペイロードのペイロードデータに含まれた、データユニットに含まれる少なくとも一つのサブデータユニットの数を指示するカウンタ情報を含む、請求項1に記載の方法。
JP2015523039A 2013-04-19 2014-04-21 マルチメディア伝送システムにおけるメディアデータを送信する方法 Active JP5898380B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20130043855A KR101484843B1 (ko) 2013-04-19 2013-04-19 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
KR10-2013-0043855 2013-04-19
PCT/KR2014/003470 WO2014171806A1 (en) 2013-04-19 2014-04-21 Method and apparatus for transmitting media data in multimedia transport system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016041616A Division JP6290950B2 (ja) 2013-04-19 2016-03-03 マルチメディア伝送システムにおけるメディアデータを受信する方法

Publications (2)

Publication Number Publication Date
JP2015528251A true JP2015528251A (ja) 2015-09-24
JP5898380B2 JP5898380B2 (ja) 2016-04-06

Family

ID=51730066

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2015523039A Active JP5898380B2 (ja) 2013-04-19 2014-04-21 マルチメディア伝送システムにおけるメディアデータを送信する方法
JP2016041616A Active JP6290950B2 (ja) 2013-04-19 2016-03-03 マルチメディア伝送システムにおけるメディアデータを受信する方法
JP2017161878A Active JP6843714B2 (ja) 2013-04-19 2017-08-25 マルチメディア伝送システムにおけるパケットを伝送する方法
JP2019117493A Active JP6887466B2 (ja) 2013-04-19 2019-06-25 マルチメディア伝送システムにおけるパケットを伝送する装置
JP2021084159A Active JP7212102B2 (ja) 2013-04-19 2021-05-18 マルチメディア伝送システムにおけるパケットを伝送する方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2016041616A Active JP6290950B2 (ja) 2013-04-19 2016-03-03 マルチメディア伝送システムにおけるメディアデータを受信する方法
JP2017161878A Active JP6843714B2 (ja) 2013-04-19 2017-08-25 マルチメディア伝送システムにおけるパケットを伝送する方法
JP2019117493A Active JP6887466B2 (ja) 2013-04-19 2019-06-25 マルチメディア伝送システムにおけるパケットを伝送する装置
JP2021084159A Active JP7212102B2 (ja) 2013-04-19 2021-05-18 マルチメディア伝送システムにおけるパケットを伝送する方法

Country Status (9)

Country Link
US (3) US10412423B2 (ja)
EP (1) EP2987330B1 (ja)
JP (5) JP5898380B2 (ja)
KR (1) KR101484843B1 (ja)
CN (2) CN108650528B (ja)
CA (2) CA2909906C (ja)
MX (1) MX348574B (ja)
RU (2) RU2750337C2 (ja)
WO (1) WO2014171806A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019013026A (ja) * 2013-09-06 2019-01-24 日本放送協会 送信装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120084234A (ko) 2011-01-19 2012-07-27 삼성전자주식회사 Mpeg media transport(mmt)에서 mmt au를 전송하는 방법
KR101501347B1 (ko) * 2012-04-25 2015-03-10 삼성전자주식회사 멀티미디어 시스템에서 미디어 컨텐츠 전송 방법
KR101484843B1 (ko) 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치
US9807452B2 (en) * 2013-10-07 2017-10-31 Samsung Electronics Co., Ltd. Practical delivery of high quality video using dynamic adaptive hypertext transport protocol (HTTP) streaming (DASH) without using HTTP in a broadcast network
KR20150047082A (ko) 2013-10-23 2015-05-04 한국전자통신연구원 Mmt 페이로드 헤더 구성 장치 및 방법
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法、受信方法、送信装置及び受信装置
WO2015093011A1 (ja) * 2013-12-16 2015-06-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置及び受信装置
JP6558366B2 (ja) * 2014-06-10 2019-08-14 ソニー株式会社 送信装置、送信方法および受信装置
KR102191878B1 (ko) * 2014-07-04 2020-12-16 삼성전자주식회사 멀티미디어 시스템에서 미디어 패킷을 수신하는 방법 및 장치
JP6681580B2 (ja) * 2014-08-04 2020-04-15 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
JP6300114B2 (ja) * 2014-08-06 2018-03-28 パナソニックIpマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
EP3232673A4 (en) * 2014-12-10 2018-06-27 Sony Corporation Transmitting device and transmitting method, and receiving device and receiving method
KR102245605B1 (ko) * 2015-07-01 2021-04-28 삼성전자주식회사 링크 계층 프로토콜을 지원하는 멀티미디어 시스템에서 신호 송/수신 장치 및 방법
US10917669B2 (en) 2015-09-07 2021-02-09 Lg Electronics Inc. Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
WO2017047399A1 (ja) * 2015-09-15 2017-03-23 ソニー株式会社 受信装置および方法、送信装置および方法
CN108141793B (zh) * 2015-10-13 2021-07-09 三星电子株式会社 用于提供基于单播的多媒体服务的方法和装置
KR102380285B1 (ko) * 2015-10-14 2022-03-30 삼성전자주식회사 멀티미디어 시스템에서 패킷을 송/수신하는 방법 및 장치
US10116576B2 (en) 2015-10-19 2018-10-30 Samsung Electronics Co., Ltd. Methods and apparatus for random access of HEVC bitstream for MMT
KR102024532B1 (ko) * 2016-01-27 2019-11-04 한국전자통신연구원 단방향 보안 통신 시스템 및 방법
KR102446181B1 (ko) 2016-02-17 2022-09-22 삼성전자주식회사 멀티미디어 시스템에서 미디어 데이터를 송수신하는 방법 및 장치
WO2017200319A1 (ko) * 2016-05-18 2017-11-23 에스케이텔레콤 주식회사 적응형 스트리밍 서비스 제공 방법 및 이를 위한 장치
KR20170130253A (ko) 2016-05-18 2017-11-28 에스케이텔레콤 주식회사 적응형 스트리밍 서비스 제공 방법 및 이를 위한 장치
KR102421791B1 (ko) * 2016-05-26 2022-07-15 삼성전자주식회사 Mmt 네트워크 시스템에서 미디어 시간 정보를 전송 하는 방법 및 장치
CN111988674A (zh) * 2020-08-18 2020-11-24 广州极飞科技有限公司 一种多媒体数据传输方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014170715A1 (en) * 2013-04-17 2014-10-23 Thomson Licensing Method and apparatus for packet header compression

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151318A (en) * 1998-07-06 2000-11-21 Motorola, Inc. Method and apparatus for encapsulating ATM cells in a broadband network
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
US7613727B2 (en) 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
GB2403835B (en) 2002-04-29 2005-11-23 Sony Electronics Inc Apparatus and method for providing supplemental enhancement information associated with multimedia data
US7483532B2 (en) * 2003-07-03 2009-01-27 Microsoft Corporation RTP payload format
US7567584B2 (en) * 2004-01-15 2009-07-28 Panasonic Corporation Multiplex scheme conversion apparatus
US20070258586A1 (en) * 2006-04-28 2007-11-08 Chien-Chung Huang Personal video recorder having dynamic security functions and method thereof
KR20080006441A (ko) * 2006-07-12 2008-01-16 삼성전자주식회사 미디어 데이터 전송 장치 및 방법 및 미디어 데이터 수신장치 및 방법
WO2009003684A1 (en) * 2007-07-02 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for storing and reading a file having a media data container and a metadata container
JP4737243B2 (ja) * 2008-07-11 2011-07-27 ソニー株式会社 集積回路装置及びデータ伝送システム
CN107196941B (zh) * 2010-04-20 2021-09-03 三星电子株式会社 用于传送和接收媒体数据的接口装置和方法
US8677428B2 (en) * 2010-08-20 2014-03-18 Disney Enterprises, Inc. System and method for rule based dynamic server side streaming manifest files
KR20120084234A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 Mpeg media transport(mmt)에서 mmt au를 전송하는 방법
KR20120084237A (ko) 2011-01-19 2012-07-27 삼성전자주식회사 엠엠티(mmt)에서 엠엠티 인캡슐레이터를 전송하는 방법
WO2012114774A1 (ja) 2011-02-25 2012-08-30 パナソニック株式会社 動画像符号化装置および動画像復号装置
KR101803970B1 (ko) * 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
US8489760B2 (en) * 2011-03-31 2013-07-16 Juniper Networks, Inc. Media file storage format and adaptive delivery system
WO2012173391A2 (ko) * 2011-06-13 2012-12-20 한국전자통신연구원 오버헤드를 최소화한 헤더를 가지는 패킷 기반의 미디어 데이터 전송 방법
KR20120138604A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
KR20120138603A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 복합 멀티미디어 데이터를 송수신하는 장치
KR20120138319A (ko) 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 데이터 특징 정보를 이용하여 멀티미디어 서비스 데이터 패킷을 송신하는 방법 및 장치
KR20130008438A (ko) * 2011-07-12 2013-01-22 한국전자통신연구원 멀티미디어 패킷 전송망에서 전방향 오류 정정 제어 방법
WO2013009131A2 (ko) * 2011-07-13 2013-01-17 한국전자통신연구원 엠엠티 시스템에서의 패킷 전송 장치 및 방법, 및 패킷 수신 장치 및 방법
KR20130040090A (ko) * 2011-10-13 2013-04-23 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터를 전송하기 위한 장치 및 그 방법
US20130094518A1 (en) 2011-10-13 2013-04-18 Electronics And Telecommunications Research Institute Method for configuring and transmitting mmt payload
US9319721B2 (en) 2011-10-13 2016-04-19 Electronics And Telecommunications Research Institute Method of configuring and transmitting an MMT transport packet
KR20130040132A (ko) * 2011-10-13 2013-04-23 한국전자통신연구원 이종 ip 네트워크를 통한 미디어 코덱에 독립적인 미디어 데이터 전송 방법
WO2013077698A1 (ko) * 2011-11-25 2013-05-30 (주)휴맥스 Mmt 미디어와 dash 미디어와의 연동 방법
CN104255036A (zh) * 2012-03-23 2014-12-31 数码士控股有限公司 Mmt打包svc视频内容的混合传送方法及接收方法
KR101947000B1 (ko) * 2012-07-17 2019-02-13 삼성전자주식회사 방송 시스템에서 멀티미디어 데이터의 전송 특징 정보 전달 방법 및 장치
JP5641090B2 (ja) * 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
KR101484843B1 (ko) * 2013-04-19 2015-01-20 삼성전자주식회사 멀티미디어 전송 시스템에서 미디어 전송 패킷 전송 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014170715A1 (en) * 2013-04-17 2014-10-23 Thomson Licensing Method and apparatus for packet header compression

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015028572; Text of ISO/IEC 2nd CD 23008-1 MPEG Media Transport ISO/IEC JTC1/SC29/WG11 MPEG/N13293, 201301, p.29-34 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019013026A (ja) * 2013-09-06 2019-01-24 日本放送協会 送信装置

Also Published As

Publication number Publication date
JP2019193293A (ja) 2019-10-31
RU2750337C2 (ru) 2021-06-28
KR20140125690A (ko) 2014-10-29
KR101484843B1 (ko) 2015-01-20
CN108650528B (zh) 2022-03-04
US20190394506A1 (en) 2019-12-26
US11665384B2 (en) 2023-05-30
CN105191323A (zh) 2015-12-23
US10412423B2 (en) 2019-09-10
CN109040791A (zh) 2018-12-18
EP2987330A4 (en) 2017-01-04
CN109040791B (zh) 2021-10-29
JP6887466B2 (ja) 2021-06-16
CA3122639C (en) 2023-04-18
MX2015014695A (es) 2016-02-19
JP7212102B2 (ja) 2023-01-24
JP2021122149A (ja) 2021-08-26
CN108650528A (zh) 2018-10-12
CA3122639A1 (en) 2014-10-23
JP6290950B2 (ja) 2018-03-07
EP2987330B1 (en) 2022-02-23
EP2987330A1 (en) 2016-02-24
CA2909906C (en) 2022-03-29
US20140317664A1 (en) 2014-10-23
RU2018102310A (ru) 2019-02-21
JP2016140089A (ja) 2016-08-04
JP5898380B2 (ja) 2016-04-06
US11245940B2 (en) 2022-02-08
CA2909906A1 (en) 2014-10-23
JP6843714B2 (ja) 2021-03-17
US20220159320A1 (en) 2022-05-19
RU2015149465A (ru) 2017-05-24
RU2018102310A3 (ja) 2021-04-22
RU2644400C2 (ru) 2018-02-12
JP2018011319A (ja) 2018-01-18
WO2014171806A1 (en) 2014-10-23
MX348574B (es) 2017-06-20

Similar Documents

Publication Publication Date Title
JP6887466B2 (ja) マルチメディア伝送システムにおけるパケットを伝送する装置
US20200280747A1 (en) Apparatus and method for transmitting multimedia frame in broadcast system
JP6719481B2 (ja) ブロードキャストサービスのためのサービスシグナリングを送受信する方法及び装置
JP6258856B2 (ja) 放送システムにおける制御メッセージ構成装置及び方法
US10476994B2 (en) Devices and methods for transmitting/receiving packet in multimedia communication system
CN105191323B (zh) 用于在多媒体传输系统中发送媒体数据的方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150717

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151028

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20151109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160303

R150 Certificate of patent or registration of utility model

Ref document number: 5898380

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250