JP2015527788A - マルチメディアシステムにおける適応的メディア構造送信方法及び装置 - Google Patents

マルチメディアシステムにおける適応的メディア構造送信方法及び装置 Download PDF

Info

Publication number
JP2015527788A
JP2015527788A JP2015520049A JP2015520049A JP2015527788A JP 2015527788 A JP2015527788 A JP 2015527788A JP 2015520049 A JP2015520049 A JP 2015520049A JP 2015520049 A JP2015520049 A JP 2015520049A JP 2015527788 A JP2015527788 A JP 2015527788A
Authority
JP
Japan
Prior art keywords
mfu
information
mpu
asset
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015520049A
Other languages
English (en)
Inventor
スン−リュル・リュ
キュン−モ・パク
スン−オ・ファン
ジェ−ヨン・ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015527788A publication Critical patent/JP2015527788A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Abstract

本発明によるマルチメディアシステムにおける適応的メディア構造を送信する方法は、メディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成するステップ及び上記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信するステップを含み、上記ＭＦＵはＡＵタイプであるかスライスタイプであるかを示すタイプ情報を含むように構成される。

Description

本発明は、マルチメディアシステムに関し、特にマルチメディアシステムにおける適応的メディア送信方法及び装置に関する。
最近、デジタルによる放送通信融合時代が到来して、ＩＰＴＶ、スマートＴＶなどの放送通信融合媒体を通して映像、音楽、その他のエンターテインメントメディアの消費環境が拡大された。これは、消費媒体を利用して一つのメディアに対するサービスを単方向で提供を受ける環境から、端末と通信技術の発達により多様な情報を同時に消費できる環境に進歩し、消費者が所望の情報だけを得るためのメディア消費の普遍化が一般化されている。
ＭＰＥＧ(Mathematical programming with equilibrium constraints)−２システムは、放送のためのシステムであって、ビデオとオーディオデータを含むメディアの同期化と多重送信のためのシステムを定義する。上記ＭＰＥＧ−２システムは、上記メディアに新たなプログラムを追加し、既存のプログラムを削除することが自由であり、ビデオとオーディオの同期化のために、メディアが１８８バイト単位で多重化される。したがって、ＭＰＥＧ−２システムでは、編集及び一部のプログラムの再生のためには逆多重化が必要であり、新たなコーデックが製作されるごとに伝送のためのスペックが改正される。
ＭＰＥＧ−４システムは、ファイルの保存のためのシステムを定義する。ＭＰＥＧ−４システムにおける伝送データは、メタデータとメディアデータで構成される。メタデータは、編集及び外部リソース参照のためのデータを定義する。上記ＭＰＥＧ−４システムは、ＭＰＥＧ−２システムとは異なり、新たなプログラムの追加及び既存プログラムの削除が難しく、メタデータの全部を更新しなければならない。上記ＭＰＥＧ−４システムも上記ＭＰＥＧ−２と同じように新たなコーデックが製作されるごとに伝送のためのスペックが改正される。
このように、従来のマルチメディアシステムは、プログラムの追加及び削除を動的に実行できず、伝送階層における保存過程や保存階層における保存過程でコーデックに対する理解がないとメディアを処理できず、伝送過程と保存過程で共通で使用される保存所構造(container format)を提案しない。
本発明は、マルチメディアシステムにおけるプログラムの追加及び削除を動的に実行するための適応的メディア構造を送受信する方法及び装置を提供する。
また本発明は、マルチメディアシステムにおける伝送や保存階層でコーデックに対する理解がなくても適応的メディア構造を送受信する方法及び装置を提供する。
また本発明は、マルチメディアシステムにおける伝送と保存に共通で使用されることができる保存場所を含む適応的メディア構造を送受信する方法及び装置を提供する。
本発明の一面によるマルチメディアシステムにおける適応的メディア構造を送信する方法は、メディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成するステップ及び、上記構成されたアセットをコンポジション情報（ＣＩ：Composition information）に含めて送信するステップを含み、上記ＭＦＵは、ＡＵタイプであるかスライスタイプであるかを示すタイプ情報を含むように構成されることを特徴とする。
本発明の他の一面によるマルチメディアシステムにおける適応的メディア構造を送信する方法は、アクセスユニット（ＡＵ）を構成するメディアフラグメントユニット（ＭＦＵ）と上記ＭＦＵの個数情報を含むメディアプロセッシングユニット(ＭＰＵ)を一つのアセットで構成するステップ及び、上記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信するステップを含む。
本発明の他の一面によるマルチメディアシステムにおける適応的メディア構造を送信する装置は、メディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット(ＭＰＵ)を一つのアセットで構成する制御部及び、上記制御部の制御によって上記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信する伝送部を含み、上記制御部は、上記ＭＦＵがアクセスユニット（ＡＵ）タイプであるかスライスタイプであるかを示すタイプ情報を含むように構成することを特徴とする。
本発明の他の一面によるマルチメディアシステムにおける適応的メディア構造を送信する装置は、アクセスユニット（ＡＵ）を構成するメディアフラグメントユニット（ＭＦＵ）と上記ＭＦＵの個数情報を含むメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成する制御部及び、上記制御部の制御によって上記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信する伝送部を含む。
本発明でＭＰＵ及びＭＦＵ設計が要求される場合の動作を示す図である。 本発明の第３の実施形態によるエラー検出コード（ＥＤＣ）とスタートコード（start code）を使用した動作を示す図である。 本発明の第４の実施形態による、ＭＰＵ内のアセット識別子とシーケンス番号を利用した論理的アセット構成を示す図である。 本発明の第５の実施形態によるＩＤＲピクチャ（Picture）とＢ，Ｐピクチャがデコーディング順序で配列されたクローズドＧＯＰにおけるプレゼンテーション（presentation）情報を提供する方法を示す図である。 本発明の第５の実施形態による、ＩＤＲピクチャとＢ，Ｐピクチャがプレゼンテーション順序で配列されたクローズドＧＯＰにおけるデコーディング順序を示す情報を提供する方法を示す図である。 本発明の第５の実施形態による、ＣＲＡピクチャとＢ，Ｐピクチャがデコーディング順序で配列されたオープンＧＯＰにおけるプレゼンテーション順序情報提供方法を示す図である。 本発明の第５の実施形態による、ＣＲＡピクチャとＢ，Ｐピクチャがプレゼンテーション順序で配列されたオープンＧＯＰにおけるデコーディング順序情報提供方法を示す図である。 本発明の第６の実施形態による、ＭＰＵ構造で再生しようとする時点を探して再生する方法を示す図である。 本発明の第８の実施形態によるＭＰＵボックスの構造を示す図である。 本発明の第９の実施形態によるmfu_Boxの構造を示す図である。 本発明の第１０の実施形態によるＭＰＵ_Boxとmfu_Boxの構造を示す図である。 本発明の実施形態によって適応的メディア構造を生成して伝送する送信装置の構成を示すブロック図である。 本発明の実施形態によってメディアコンテンツを受信する受信装置の構成を示すブロック図である。
以下、本発明による望ましい実施形態を添付図面を参照して詳細に説明する。下記の説明では、本発明による動作を理解するために必要な部分だけが説明され、それ以外の部分の説明は本発明の要旨を不明瞭にしないように省略されることに留意すべきである。
本発明の主要な要旨は、マルチメディアシステムにおけるプログラムの追加及び削除を動的に実行し、伝送や保存階層でコーデックに対する理解がなくても適応的メディア構造を送信し、伝送と保存に共通で使用されることができる保存構造(container format)を含む適応的メディア構造を提供するために、ＭＦＵ及びＭＰＵの設計とこれを利用する伝送及び保存階層の動作を提供することである。そのために本発明の実施形態によるマルチメディアシステムにおける適応的メディア構造を送受信する方法及び装置に対して詳細に説明する。
本発明の理解を助けるために、以下、明細書全般にかけて使用される複数の伝送単位に対する概念を記述する。
用語「スライス」とは、帯状で一つのフレームを分割する分割単位で言及されることができる。
用語「アクセスユニット」とは、あるフレームに対応するメディアデータを符号化した場合、上記符号化されたメディアデータの長さを定義する伝送単位で言及されることができる。
用語ＭＦＵは、ＡＵより小さいか同一であり、任意のメディア復号器により(a media decoder)独立的に(independently) 復号化される(または消費される(consumable))ことができる伝送単位で言及されることができる。
用語「メディアプロセッシングユニット(ＭＰＵ)」は、少なくとも一つのＭＦＵを含む伝送単位として、時間情報、重要度、ランダムアクセス位置(Random Access Position:ＲＡＰ)情報のような多様な機能情報のうち少なくとも一つの情報を含む複合メディアコンテンツの伝送単位で言及されることができる。
用語「アセット」とは、少なくとも一つのＭＰＵを含む伝送単位として、ビデオ、オーディオ、テキスト、ファイル、ウィジェットなど多様な種類のマルチメディアソース、すなわちマルチメディアデータの属性に合う単位構造を受信して複合メディアコンテンツを構成する伝送単位で言及されることができる。
現在まで論議されたカプセル化 (Encapsulation)階層と伝送階層の動作は次の通りである。
まず、コーデック階層(Codec layer)で作成された符号化メディアデータ(coded media data）は、ネットワーク抽象階層単位(Network Abstraction Layer Unit，ＮＡＬＵ）で符号化され、ＭＭＴ(ＭＰＥＧ Media Transport)階層(または下位階層)に伝えられる。
ＭＭＴ(ＭＰＥＧ Media Transport)階層では、上記符号化されたメディアデータをＭＦＵの伝送単位で構成し、また、ＭＰＵの伝送単位で構成して一つのアセットを構成する。
上記アセットは、また、いくつかのアセットで構成され、それらの関係を表現するＭＭＴ−ＣＩ(Composition Information)により時／空間的に表現及び消費されるように構成されて受信側に伝送される。ＭＭＴ−ＣＩは、シグナリングメッセージ(Signaling message)を通して受信側に周期的に伝送され、受信側は、上記ＭＭＴ−ＣＩを通してどのコンテンツが放送されているか、または、再生可能であるかに対して分かるようになる。
受信側は、伝送階層を通して周期的に伝送される上記ＭＭＴ−ＣＩを参照して、複数のアセットのうち必要なアセットだけを抽出して使用する。
Figure 2015527788
上記の＜表１＞は、現在のＭＦＵの構造を示すためのＭＦＵの構造情報を示す。ＭＦＵの構造情報はＭＦＵのヘッダ情報(ＭＦＵ_Header)で示すことができる。
ＭＦＵのヘッダ情報は、ＭＦＵの基本情報(ＭＦＵ_Information)とＭＦＵのインジケータ情報(ＭＦＵ_Indicator)を含む。
ＭＦＵの基本情報(ＭＦＵ_Information）は、ＭＦＵの長さ情報(ＭＦＵ_length)とヘッダの長さ情報(Header_length)及び、ＭＦＵが完全な（whole）ＡＵ内でどこに位置するかを示す位置情報(start_end_indicator）を含む。
ＭＦＵのインジケータ情報(ＭＦＵ_Indicator）は、ＭＦＵが完全なＡＵ内でどの優先順位または重要度を有するかを示す優先順位情報(priority)及びＭＦＵ自身がいくつの相異なるＭＦＵを参照するかを示す従属的なカウント情報(dependency_counter)を含む。
従属的なカウント(dependency_count)値は、独立的に符号化／復号化が可能な単位内で従属的なＭＦＵカウントの値である。例えば、この従属的なカウント値が「４」であると、該当ＭＦＵデータは、自身と隣接した４個の他のＭＦＵが該当ＭＦＵに従属関係(または参照関係)にあることを示す情報であることを意味する。例えば、４個の関連するＭＦＵが存在する場合、第１のＭＦＵは３のカウント値を有し、第２のＭＦＵは２の値を、第１のＭＦＵは１の値を、第４のＭＦＵは０の値を有する。上記従属的なカウントを利用すると、該当ＭＦＵデータのエラーがある場合にそのエラーが伝播される程度を示すことができる。
Figure 2015527788
上記の＜表２＞は、現在のＭＰＵの構造を示すためのＭＰＵの構造情報を示す。
現在のＭＰＵの構造情報は、ＭＰＵの基本情報(ＭＰＵ_Information)、ＭＰＵの識別情報(ＭＰＵ_Identifier)、ＭＰＵの内部情報(ＭＰＵ_Internal)及びＭＰＵの拡張情報(private_header_flag)を含む。
ＭＰＵの基本情報(ＭＰＵ_Information）は、ＭＰＵの長さを示すＭＰＵの長さ情報(ＭＰＵ_length)とヘッダの長さを示すヘッダの長さ情報(header_length)を含む。
ＭＰＵの識別情報(ＭＰＵ_Identifier）は、ＭＰＵに任意の接近位置情報(Random Access Point:ＲＡＰ)が存在するか否かを示すフラグ情報(rap_flag)と該当ＭＰＵ(ＭＰＵ自身)がアセット内で何番目のＭＰＵであるかを示すシーケンス番号情報(ＭＰＵ_sequence_number)を含む。ここで、ＲＡＰは、該当ＭＰＵに対するランダムアクセス位置情報であり、上記ランダムアクセス位置情報を利用するビデオデータは、任意の再生機能を提供できる。
ＭＰＵの内部情報(ＭＰＵ_Internal）は、ＭＰＵを構成するＡＵの個数情報(number_of_au)とＭＰＵを構成するＡＵのそれぞれの長さ情報(au_length)を含む。
ＭＰＵの拡張情報(private_header_flag）は、未来の拡張のためのプライベートヘッダの長さ情報(private_header_length)とプライベートヘッダ情報(private_header)を含む。
Figure 2015527788
上記の＜表３＞は現在のアセットの構造を示すためのアセットの構造情報を示す。
現在のアセットの構造情報は、該当アセットを識別する識別子情報 (asset_identification)、メディアタイプを示すタイプ情報(asset_type)、互換性識別のための互換性識別情報(Code point)、アセットを構成するＭＰＵの個数情報(no_of_mpu)、アセットを構成するＭＰＵのそれぞれの位置情報(ＭＰＵ_position)、該当アセットの全体長さ情報(asset_length)を含む。
第１の実施形態
本発明の第１の実施形態では、適応的メディア構造を提供するための効率的なＭＦＵの構造が提案される。
本発明の第１の実施形態によるＭＦＵの構造情報は、下記の＜表４＞に示すように、該当ＭＦＵのタイプがＡＵタイプであるかスライス(Slice)タイプであるかを区分するタイプ情報(mfu_type)を含む。
上記タイプ情報(mfu_type)によって、ＭＦＵがＡＵタイプであることが確認できると、ＭＦＵの構造にＡＵの属性を示す情報(ＡＵの属性情報）を提供(叙述または表現)することは非効率的である。ＡＵタイプの確認方法は、ＭＦＵが属したＡＵがＲＡＰに該当するか否か、Instantaneous Decoding Refresh（ＩＤＲ）ピクチャであるか否か及び、Clean random access（ＣＲＡ）ピクチャであるか否かのうち少なくとも一つをサーチして確認することができる。ＩＤＲピクチャとＣＲＡピクチャに対する説明は下記で記述する。
上記ＡＵの属性情報は、優先順位情報(Priority)及び従属カウンター情報(Dependency counter)のうち少なくとも一つの情報を含む。したがって、下記の＜表４＞に示すように、本発明の第１の実施形態によるＭＦＵ構造情報にはタイプ情報(mfu_type)が提供され、ＭＦＵのタイプがＡＵである場合、＜表１＞のＭＦＵ構造情報とは異なり、ＭＦＵの構造情報に優先順位情報(Priority)と従属カウンター情報(dependency counter)のうち少なくとも一つの情報が提供(叙述または表現)されず、ＭＦＵタイプがＡＵではない場合、またはスライスタイプである場合には、ＭＦＵの構造情報に優先順位情報(Priority)と従属カウンター情報(dependency counter)が提供(叙述または表現)される。
仮に、ＭＦＵがＡＵタイプでななく、ＡＵの一部分だけを構成すると、mfu_typeは下記の＜表５＞のようにＭＦＵが完全なＡＵ内のどこに位置するかを示す位置情報(start_end_indicator）の形態で提供(叙述または表現)されることができる。この場合、位置情報(start_end_indicator）の値が完全なＡＵを指示すると、mfu_typeの値がＡＵのように動作するようにすることが望ましい。
Figure 2015527788
Figure 2015527788
第２の実施形態
図１は、伝送エラーが発生した場合における伝送パケットの構造と受信パケットの構造を説明するための図である。
図１のように、伝送エラーが発生した場合、伝送エラーに強いＭＰＵ及びＭＦＵの構造設計が必要である。
ＭＰＵは、図１のように伝送階層における伝送過程、または、保存階層における保存過程で、一部のＭＦＵが伝送されない伝送エラーと保存エラーが発生した場合、効率的な伝送または保存のために、上記一部のＭＦＵが伝送されない状況を許可することが望ましい。
ＭＭＴパケットは、自動伝送要求（ＡＲＱ；Automatic Repeat request）及び順方向誤り訂正（ＦＥＣ；Forward Error Correction）を利用して多様な伝送経路上のエラーに備える。このように伝送経路上のエラーに備えるにもかかわらず、伝送失敗が発生する場合、この伝送失敗は、ＭＭＴパケット単位の伝送失敗を意味する。
図１及び図２に図示されるように、ＭＰＵが伝送される時、伝送階層ではＭＰＵをフラグメント化し(fragmentation)、フラグメント化されたＭＰＵを複数のＭＭＴパケットに各々載せて伝送する。したがって、一つのＭＰＵは複数のＭＭＴパケットで構成され、また一つのＭＰＵは複数のＭＦＵで構成される。
これは、現在の伝送階層では一つのＭＰＵが複数のＭＭＴパケットで構成される構造を提供(叙述または表現)し、一つのＭＰＵが複数のＭＦＵで構成される構造を提供(叙述または表現)しているが、ＭＭＴパケットとＭＦＵとの間の構造的な対応関係は伝送効率を考慮して定義していない。したがって、既存の伝送及び保存階層では複数のＭＭＴパケットが損失される場合に、どのＭＦＵで伝送損失が発生したか、また、ＭＦＵのどの部分からどの部分まで伝送損失が発生したかを示す伝送損失部分に対する情報を提供しない。
すなわち、既存のＭＰＵ構造情報では、＜表２＞のように、ＡＵの情報をオフセット(offset)、すなわち、ＭＰＵのヘッダ情報長さで提供(叙述または表現)している。したがって、伝送または保存階層における伝送エラーまたは保存エラーによりペイロード(Payload）の一部が欠落／損傷された場合、オフセットに基づいた情報は全部信頼できない情報になり、完全な状態(integrity)を確認する方法も提供しない。
したがって、本発明の第２の実施形態では、ＭＰＵがＭＦＵを指示する改善された方法を提案し、ＭＰＵ及びＭＦＵの完全な状態(integrity)を確認する方法を提案する。
上述したように、ＭＰＵは、ＡＵを構成するＭＦＵを結ぶためにオフセットを使用しているが、一部のＭＭＴパケットの欠落が発生すると、欠落されたＭＭＴパケットが載せていたＭＦＵに含まれたＡＵと関連した情報は全部無効化されなければならない。したがって、オフセットよりはＡＵを構成するＭＦＵの個数を提供することが必要である。
下記の＜表６＞は、ＭＰＵでＡＵを構成するＭＦＵの個数情報が含まれたＭＰＵの構造情報の一例を示す。
Figure 2015527788
この場合、全体ＭＦＵの個数が表現されたものと異なると、欠落されたＭＦＵがあることが分かる。しかし、この場合に、仮に第３のＭＦＵが欠落されると、ペイロード内のＭＦＵに対する分析だけではどのＭＦＵが欠落されたか依然として分からないという短所がある。
したがって、＜表７＞のように、ＭＦＵは、自身を識別する識別情報(mfu_id)を含み、＜表８＞のようにＭＰＵでは、ＡＵ毎にどのＭＦＵを含むかを叙述することが必要である。下記の＜表７＞は、Mfu_idが適用されたＭＦＵの構造情報を示し、下記の＜表８＞は、Mfu_idを指示するＭＰＵのＡＵ情報を示す。
Figure 2015527788
Figure 2015527788
上記の＜表８＞のように作成すると、中間に任意のＭＦＵが欠落されてもＡＵの情報が有効であるという長所がある。
第３の実施形態
伝送エラーによりＭＦＵの欠落がある場合、その欠落がＭＦＵ単位で発生する時とＭＦＵの境界を維持せずに発生する時を区分しなければならない。欠落がＭＦＵ単位で発生する時にはＭＦＵの識別情報を使用して、どのＡＵに属するＭＦＵが欠落されたのか感知することができる。しかし、図１のようにＭＦＵの一部分、例えば、ヘッダ情報が欠落された時にはＭＦＵのパーシング（Parsing）において問題が発生する。
このようにＭＦＵの一部分が欠落された時にこれを感知し、次の有効(valid)なＭＦＵを探すためにはスタートコード(start code)とエラー検出コード（ＥＤＣ）の使用が要求される。
下記の＜表９＞は、スタートコードを使用してＭＦＵの境界を感知し、ＥＤＣを使用して有効性（validity）を検証する例を示す。
Figure 2015527788
図２は、本発明の第３の実施形態によるＥＤＣとスタートコードを使用した動作を示す。
図２で伝送されたパケットのうち赤色陰影処理した区間２１０に該当するＭＭＴパケットに伝送エラーが発生した場合を仮定している。この時、ＭＦＵ１の中間からＭＦＵ ２の中間までがＭＭＴパケット損失により欠落された部分である。したがって、受信側はＭＦＵ１のヘッダ及びペイロードの一部とＭＦＵ ２のペイロードの一部で構成されるＭＦＵ１’を有する受信パケットを受信するようになる。
受信側におけるＭＰＵ処理過程は、ＭＦＵ１のヘッダ情報のうちＥＤＣを読み取り、ＭＦＵ１の長さほどのデータに対してエラー検出プロセスを実行する。エラー検出プロセスによる結果値とＥＤＣ値を比較すると、異なる値を有するため、ＭＦＵ１はエラーが発生したことが分かる。問題になるＭＦＵ１に対する処理を保留して、次のＭＦＵを探すために予想されるＭＦＵ１の終了地点から以前及び以後に対してstart_codeの探索を実行する。start_codeは約束されたパターンを有する値であって、００ ００ ０１Ｂまたは「Ｍ」「Ｆ」「Ｕ」のように反復する確率が低いパターンから決定され使用される。探索を実行してstart_codeを発見し、以後のＥＤＣを使用することでエラー検出プロセスを実行して、有効なＭＦＵであることが確認されると、該当ＭＦＵのmfu_idを認知して、どのＭＦＵが欠落または損失され、どのＭＦＵが有効であるかが分かる。
第４の実施形態
ＭＰＵは、以前のＭＰＵと以後のＭＰＵに対するアクセスなしに独立的にプロセシング(または符号化及び復号化)できる単位である。
アセットは複数のＭＰＵで構成されて、各アセットのアセットヘッダにはＭＰＵの個数とＭＰＵの長さなどが含まれる。
しかし、放送を考慮すると、アセットは無限に長い長さを有してもよい。放送の中間に聴取を開始する場合、アセットのヘッダを探してアクセスした後に、また、現在放送時点に該当するＭＰＵを探さなければならない。このような点を考慮すると、アセットの構造情報にアセットがどのＭＰＵを含むかを示す情報を提供(叙述または表現)することより、ＭＰＵの構造情報にＭＰＵがどのアセットに含まれるかを示す情報を提供(叙述または表現)することがはるかに効率的である。また、ＭＰＵの構造情報にＭＰＵが再生のために必要な初期化情報を提供することが効率的である。
したがって、＜表３＞において、アセットヘッダが有している情報のうち識別子(asset_identification）はＭＰＵの構造情報に含めることが望ましい。asset_type及びasset_codepointは、アセットを消費する前に判断の根拠として使用する情報であるため、ＭＭＴ−ＣＩに含めることが望ましい。
no_of_mpu、ＭＰＵ_position及びasset_lengthは、ファイルで保存されない限り意味がない値であって、アセットで分離してＭＭＴ Packageをファイルで保存する時に叙述する情報のうちの一つとして含めることが望ましい。
したがって、ＭＰＵが＜表１０＞のように構成されると、図３の最上側に示されたように複数のＭＰＵが多様なメディアタイプのアセットで各々混合された時、同じアセット識別子(asset_id)を有するＭＰＵを集めて、集められたＭＰＵの各シーケンス番号(sequence_number)を利用して集められたＭＰＵの前後関係(または順序)を把握できる。
Figure 2015527788
図３は、本発明の第４の実施形態によるＭＰＵ内のアセット識別子とシーケンス番号を利用した論理的アセット構成を示す。
図３のように、アセット識別子(asset_id)とＭＰＵのシーケンス番号(sequence_number)に付加でパッケージの識別子を使用すると、ＭＰＵはＣＤＮ及びキャッシュ（Cache）など、ネットワークノードで独立的に保存されて伝送される単位で使用されることができる。
第５の実施形態
本発明の第５の実施形態は、ＭＰＵの構造情報に時間メディア伝送のための付加情報を提供することに関する。この場合、ＭＰＵは時間属性または非時間属性のメディアを伝送／保存するための単位で利用される。
ＭＰＵが伝送するメディアの種類を区別するために、下記の＜表１１＞のように、第１の実施形態におけるＭＰＵのタイプ情報にＭＰＵ_typeの時間属性(ＮＯＮ＿ＴＩＭＥＤ）を示す情報が提供される。ＭＰＵのヘッダ情報は、ＭＰＵ_typeによって時間メディアの特徴情報、非時間メディアの特徴情報を含むため、ＭＰＵ_typeの使用は効率的なヘッダ構造のために必要な情報である。
Figure 2015527788
上記の＜表１１＞は、時間属性の情報が付加されたＭＰＵのタイプ情報を示す。
仮に、ＭＰＵを構成するメディアデータが一つまたは複数のＡＵで構成された時間メディアである場合、ＭＰＵ_typeは「ＡＵ＿ＳＥＴ」で表現され、ＭＰＵを構成するメディアデータが非時間メディアである場合、ＭＰＵ_typeは「ＡＵ＿ＳＥＴ」及び「ＮＯＮ＿ＴＩＭＥＤ」で表現される。
既存のＭＰＵの構造情報はＡＵの時間値に関連する情報を表現しないため、ＭＰＵ_typeがＡＵ_SETである場合、含まれているＡＵの時間値を提供することが必要である。
ＡＵの時間値に関連する情報は、プレゼンテーション時間(presentation time）と関連した情報及びデコーディング時間(decoding time）と関連した情報などを考慮し、付加的にデコーディングオーダ(decoding order)と関連した情報及びプレゼンテーションデュレーション(presentation duration）と関連した情報などをさらに考慮することができる。
ＡＵの配列構造は、一定の時間間隔で配列される構造と任意の時間間隔で配列される構造に分かれる。プレゼンテーション時間の間隔はデュレーションで表現されることができるため、プレゼンテーション順序で配列されたＡＵの時間表現及び間隔はデフォルトデュレーションで表現されることができる。
下記の＜表１２＞は、一定の時間間隔で配列されるＡＵの構造情報が含まれたＭＰＵの構造情報の一例を示し、下記の＜表１３＞は、任意の時間間隔で配列されるＡＵの構造情報が含まれたＭＰＵの構造情報の一例を示す。
下記の＜表１２＞のように、任意の時間間隔配列を表現するためにはデフォルトデュレーションが０であると、ＡＵごとにデュレーションを提供するようにフィールドをon／off方式で表現できる。
下記の＜表１３＞のようにデフォルトデュレーションの他に付加的に任意のＡＵに対するデュレーション(ARBITRARY_DURATION）を表現するフラグ(duration_flag)が提供されると、該当ＡＵは別途のデュレーションで表現され、余りのＡＵは default_durationで表現されることができる。
Figure 2015527788
Figure 2015527788
ＡＵの順序情報(order_of_au）はプレゼンテーション順序情報(presentation_order)とデコーディング順序情報(decoding_order)、また、任意の順序情報(UNKNOWN)を考慮することができる。ここで、プレゼンテーション順序はＧＯＰ(Group of picture)内のIntra（Ｉ）picture、Bi-predictive（Ｂ）picture、Predictive（Ｐ）pictureの再生順序を意味し、デコーディング順序はＩピクチャ、Ｂピクチャ、Ｐピクチャのコーディング順序を意味する。ＧＯＰは複数のピクチュアを一つのグループで結んだ単位を意味する。Ｉピクチャ、Ｂピクチャ、ＰピクチャはＧＯＰ階層で使用される用語として、Ｉピクチャは前後のピクチャとは関係なく独立的に符号化して獲得されるピクチャであり、Ｐピクチャは画面間の順方向予測符号化により獲得されるピクチャである。Ｂピクチャは過去と未来の両方向からの予測符号化により獲得されるピクチャである。
本発明の第５の実施形態によるＭＰＵの構造情報には、ＡＵの順序がプレゼンテーション順序で配列された場合、デコーディング順序情報(decoding_order)が別途に提供され、ＡＵの順序がデコーディング順序で配列された場合、プレゼンテーション順序情報(presentation_order)が別途に提供される。また、ＡＵの順序が任意の順序で配列された場合、デコーディング順序情報(decoding_order)とプレゼンテーション順序情報(presentation_order)が別途に提供される。
あるＡＵは、他のＡＵとの従属的関係によって以前ＡＵのデコーディング無しに再生可能なＲＡＰ(Random Access Point)を含む場合があるため、これに対する表現はＲＡＰ_flagを通して提供される。
Figure 2015527788
上記＜表１４＞は、多様なＡＵ配列による順序情報提供に関し、ＡＵの個数が一つより多い場合のＡＵ間の順序に対する付加情報を提供する方法を提案している。仮にＡＵが一つであると、他のＡＵとの関係で発生する順序値は成立しない。
上述したorder_of_ＡＵとpresentation_orderまたはdecoding_order_orderを組み合せると、図４乃至図７のようにＭＰＵ内でＡＵの時間に関連する構造情報を全て表現できる。
図４は、本発明の第５の実施形態によるInstantaneous decoding refresh（ＩＤＲ）ピクチャとＢ，Ｐピクチャがデコーディング順序で配列されたクローズドＧＯＰでプレゼンテーション情報提供方法を示している。ここで、クローズドＧＯＰは、以前のＧＯＰに従属されず独立的にコーディングされ、再生されるＧＯＰを意味する。
本発明で提案するＡＵの時間に関連する構造情報の表現方法は、ＡＵの順序種類(DECODING＝Decoding順序で配列)、各ＡＵのPresentation_order番号、ＲＡＰが存在するか否かを提供する。
したがって、図４のようにデコーディング順序で配列されたクローズドＧＯＰ(Group Of Pictures）は、図１８の下記のようにプレゼンテーション順序で再配列可能であり、ＲＡＰからの再生も可能である。
図５は、本発明の第５の実施形態によるＩＤＲピクチャとＢ，Ｐピクチャがプレゼンテーション順序で配列されたクローズドＧＯＰでデコーディング順序情報提供方法を示す。ＩＤＲ ピクチャは、映像シーケンスの先頭ピクチャとして、ピクチャビット列を復号化するために参照ピクチャのバッファー状態、フレーム番号、ピクチャの出力順序を表示する情報などを初期化するために利用される。
図５の上のように、プレゼンテーション順序で配列されたクローズドＧＯＰは、図５の下記のようにデコーディング順序で再配列が可能であり、ＲＡＰからの再生も可能である。
図６は、本発明の第５の実施形態によるClean random access（ＣＲＡ）ピクチャとＢ，Ｐピクチャがデコーディング順序で配列されたオープンＧＯＰでプレゼンテーション順序情報提供方法を示す。ここで、オープンＧＯＰは、現在のＧＯＰが以前のＧＯＰに従属され、従属的に圧縮されて再生されるＧＯＰを意味する。
図６を参照すると、図６の上記のようにデコーディング順序で配列されたオープンＧＯＰは、図６の下記のようにプレゼンテーション順序で再配列が可能であり、ＲＡＰからの再生も可能である。
Ｂ４とＢ５はいわゆる先頭ピクチャ（leading picture）であって、ＣＲＡ６に比べてデコーディング順序は遅いが、プレゼンテーション順序が先立つため、ＲＡＰが存在するか否かとプレゼンテーション順序、デコーディング順序を考慮すると、デコーダに該当ピクチャを入力値として伝達する前に、該当ピクチャ(Ｂ４、Ｂ５)をデコーダに入れないか又はデコーディングはするが使用はしない、などの判断をすることが可能である。
図７は、本発明の第５の実施形態によるＣＲＡピクチャとＢ，Ｐピクチャがプレゼンテーション順序で配列されたオープンＧＯＰでデコーディング順序情報提供方法を示す。図７を参照すると、図７の上記のようにプレゼンテーション順序で配列されたオープンＧＯＰは、図７の下記のようにデコーディング順序で再配列が可能であり、ＲＡＰからの再生も可能である。
第６の実施形態
本発明の第６の実施形態は、ＭＰＵの独立的に使用のためのデコーダ設定情報に関する。
ＭＰＵは、前後のＭＰＵに対するアクセス無しに独立的に使用されることができる単位である。したがって、ＭＰＵが有しているＡＵに対するデコーダ設定情報を含んでいることが望ましい。したがって、デコーダ設定情報は、ＭＰＵのタイプがＡＵである場合はＭＰＵの構造情報に提供され、時区間によって複数個のデコーダ設定情報が提供される場合は、該当デコーダ設定情報が適用されるＡＵの付加情報として提供されることが望ましい。
Figure 2015527788
上記の＜表1５＞は、デコーダ設定情報を提供するＭＰＵのヘッダ構造を図示している。
デコーダ設定情報は、ＳＰＳ(Sequence Parameter Set)、ＰＰＳ(PictureＰarameter Set)、ＤＣＴ、運動ベクトルなどの情報を含み、該当情報はＮＡＬ Unitの連続された列の形態で提供される。ここで、ＳＰＳは、シーケンス全体の符号化に使用される情報を含む情報であり、ＰＰＳはピクチャ全体の符号化モード、例えば、エントロピー符号化モード、ピクチャ単位の量子化パラメータ初期値などを示す情報である。
したがって、下記の＜表１６＞のように、本発明によるＭＰＵをＲＡＰから任意アクセスする場合は、図８のような順序でデコーディングプロセスを処理することが提案される。
Figure 2015527788
図８は、本発明の第６の実施形態によるＭＰＵ構造で再生しようとする時点を探して再生する方法を示す。
図８を参照すると、ＭＰＵで再生しようとする時点を探すプロセスまたは再生装置は、８１１で、まず、ＭＰＵのアセットＩＤとシーケンス番号を検討して再生しようとする時間を有するＭＰＵであるか否かを確認する。
その次に、８１３で、ＭＰＵ_typeを確認し、８１５で、ＭＰＵ_typeがAU_SETタイプであるか否かを確認する。上記８１５でＭＰＵ_typeがAU_SETであると８１７でＡＵの個数(number_of_au)を確認する。
８１９で、仮にＡＵの個数が１であると、ＭＭＴ-ＣＩで指示するＭＰＵの開始時間がすなわちＡＵの開始時間であるから、これ以上の検索を進行せずに終了する。上記８１９で、仮にＡＵの個数が２個以上であると、８２１で、ＡＵがどの順序で配列されたかを確認し、８２３でＡＵ長さを確認する。
８２５で、ＡＵ長さの和は、ＭＰＵ構造で再生しようとする時点の終わりを表し、ＡＵの最初又は与えられた部分から再生可能なＡＵをアクセスしようとする位置であるか否かを判断する。
ＡＵがプレゼンテーション順序であると、ＡＵのデュレーションを順に加えることで再生をしようとする位置のＡＵを探すことができ、ＡＵがデコーディング順序やunknownであると、プレゼンテーション順序に変換させることで、再生を所望する位置のＡＵを探すことが必要である。
次に、ＡＵを検索する過程で、８２７でＡＵがＲＡＰであるか否かを判断する。ＡＵがＲＡＰであると、８２９で、今後の使用のために最も近接したＲＡＰとしてＡＵの番号を保存する。ＡＵがＲＡＰではないと、検索した以後のＡＵから該当ＡＵの長さを追加する。
８２５、８２７、８２９及び８３１ステップを反復すると、８３５で、再生しようとする時間に該当するＡＵの番号が分かり、８１２で、仮に、このＡＵがＲＡＰでないと、８３７で最も近接した位置のＲＡＰ番号から再生を開始する。
第７の実施形態
本発明の第７の実施形態は、ＭＰＵの非時間メディア伝送のためのメタ情報に対する。
ＭＰＵが非時間メディアを伝送する場合、ＭＰＵには一つまたはそれ以上の非時間メディアが含まれることができ、該当メディアをファイルとして処理する。
ファイルは名前とサイズ情報を提供する。
ファイルは、特性上、データ損失に敏感であるためＥＤＣ情報を提供する。損失を許可しないため、AU_SETとは異なりオフセットとサイズに基づいてＭＰＵペイロード内のファイルの開始と終わりを示してもよい。下記の＜表１７＞はファイルを伝送するＭＰＵヘッダ構造を示す。
Figure 2015527788
第８の実施形態
本発明の第８の実施形態では、本発明で提案されたＭＦＵとＭＰＵをＭＰＥＧ−４で使用しているＩＳＯ Base Media File Format(ＩＳＯＦＦ）を活用して表現する方法に対して提案する。
ＩＳＯＦＦは、ＭＦＵに該当する単位、すなわちサブサンプル単位で符号化されたメディアを保存または伝送しないが、符号化されたメディアを示すために全体トラックまたはフラグメントの単位でサブサンプルの情報は表現している。したがって、サブサンプルの情報を表現する方法をＩＳＯＦＦで取って、表現する方法に対して議論する。
Figure 2015527788
上記＜表１８＞は、現在のＩＳＯＦＦのsubs Box(SubSampleInformationBox）の構造を示す。
上記＜表１８＞は、ＩＳＯＦＦでサブサンプルの情報を表現する方法である‘subs’Boxである。図示したように、一つのsubsボックスは一つのトラックの全体、または一つのフラグメントの全体サンプルが有するサブサンプルの構造に対するテーブルを提供する。
しかし、ＭＭＴのＭＦＵは、各ＭＦＵが優先順位情報やdependency_counterなどに基づく判断によって削除されることができるように設計されたため、トラック全体やフラグメント全体に対する一つのテーブルはＭＦＵの削除を不可能にする。
したがって、図９のようにmfu_Boxを作って、毎mfu_Boxごとにsubsが一つずつ含まれるように構成することが望ましい。図９は、本発明の第８の実施形態によるＭＰＵボックスの構造を示す。
従来ＭＦＵの構造によってmfu_Boxは下記の＜表１９＞のように構成される:
Figure 2015527788
上記＜表１９＞はmfu_Boxのsyntaxを示す。＜表１９＞でmfu_idはＭＦＵの識別子であり、ＭＰＵ内で唯一の値を有する。mfu_idの値は意味ある値の組合または一定のサイズで増加する値などが可能である。
SubSampleInformationBoxはsubs Box(＜表２０＞）で、ＭＦＵの目的に合せて使用するために、次のようにその値を制限(restrict)して使用する。
Figure 2015527788
上記＜表２０＞はサブサンプルInformationBoxを示す。
＜表２０＞でversionが１である場合、サブサンプルの優先順位を示すことができないため、versionは０に固定されなければならない。entry_countはsubsが示すサブサンプルの個数であり、MFU-subsは各々一つずつペア構造を有するためentry_countの値は常に１に固定されなければならない。
entry_deltaは以前に表現したサンプル対比、現在表現するサンプルの間の個数の差であるため、一つのサンプルに対して、複数のMFU-subspairが存在する場合、entry_deltaの値は０である。Subsample_countもMFU-subsは各々一つずつペア構造を有するため常に１に固定されなければならない。Subsample_sizeはＭＦＵが含むデータ、すなわち符号化されたメディアのサイズを示す。(図９でdataBoxのサイズ)
一方、dependency_counterに該当する値がないため、reservedである３２ビットはdependency_counterにその値を割り当てる。
第９の実施形態
上記で説明した第８の実施形態の他の方法であって、ＭＦＵの構造は図１０と同一である。
図１０は、本発明の第９の実施形態によるmfu_Boxの構造を示す。
上記説明した第８の実施形態と異なる点は、データボッスがmfu_Box内に含まれているか否かである。
単純にデータがmfu_Boxの外側に存在すること以外に、ＭＦＵのオペレーションの上、一つのMFU-datapairが正常に削除されるようにするためには、どのmfu_Boxとどのデータボッスがペアであるかに対する情報が提供されなければならない。
したがって、mfu_Boxに存在する情報のうち、subs Boxのsubsample_size情報とデータボッスのサイズが同一である場合、ペアであると認知してＭＦＵ削除する時、サイズを確認する段階を経ることが望ましい。
すなわち、 mfu_Boxとデータボッスを必要によって削除する時には、mfu_Box内のsubsBox内のsubsample_sizeがデータボックスのサイズと一致するか否かを確認して、サイズが一致する場合にはペアと認知してmfu_Boxとデータボックスを削除する。サイズが異なる場合には、ＭＰＵ内にサイズが一致する他のデータボックスがあるか確認する段階を経ることが望ましい。
第１０の実施形態
本発明の第１０の実施形態では本発明の第８の実施形態と同一の目的で、ＩＳＯＦＦを活用してＭＰＵを表現する方法に対して提案する。
ＩＳＯＦＦはＭＰＵのＡＵに該当する単位、すなわちフラグメント内のサンプル単位で表現する方法を有する。しかし、ＭＰＵが有する全ての情報を表現していないため、既存の表現方法のうちtfhd、trun Boxを活用して、これを拡張する方法に対して提示する。
現在のtfhd Boxの構造は下記の＜表２１＞の通りである:
Figure 2015527788
＜表２１＞は現在のＩＳＯＦＦのtfhd Box(TrackFragmentHeaderBox）の構造を示す。上記＜表２１＞は、ＩＳＯＦＦのフラグメントでtrunが表現するサンプルの基本値(default value)を指定するtfhd Boxである。＜表２１＞の内容のうち、base_data_offsetからdefault_sample_flags までのフィールドは、tf_flags値によってon／offされるoptional fieldで、ＭＰＵの default_duration_of_au をtfhdのdefault_sample_durationで示す。したがって、tf_flagsはＭＰＵで使用される時に0x000008を必ず有するようにする。
現在のtrun Boxの構造は下記の＜表２２＞の通りである:
Figure 2015527788
上記＜表２２＞は、現ＩＳＯＦＦのtrun(TrackRunBox)Boxの構造を示す。
上記＜表２２＞で一つのtrun Boxはフラグメント内のサンプルに対する情報を提供する。ＭＰＵの情報のうちtrunを使用して示すことができる情報はnumber_of_au、presentation_order、duration_of_auなどがある。このうちnumber_of_auはsample_countを使用して示し、presentation_orderとduration_of_auは結合してsample_composition_time_offsetを使用して示すことが望ましい。
一方、decoding_orderとnumber_of_mfu、Mfu_idはtrunで表現していないため、decoding_orderはsample_decoding_orderで表し、number_of_mfuとMfu_idは開始mfuのＩＤと終了mfuのＩＤを示すことに表現を変えてsubsample_start_id、subsample_end_idで表現することを提示する。
decoding_orderとsubsample_start_id、subsample_end_idをoptional fieldとして提供するために、本発明ではtf_flagsを下記のように拡張することを提案する:
0x001000 decoding-order-present:each sample in trun has its decoding order，otherwise samples are aligned in decoding order.
0x002000 subsample-start/end-id-present:each sample consists of subsample from subsample_start_id to subsample_end_id. It refers mfu_id in mfu_box.
tf_flagsの値に0x1000が含まれる場合、decoding_orderが存在し、含まれない場合ＡＵはデコーディング順に整列されなければならない。
tf_flagsの値に0x2000が含まれる場合、ＡＵを構成するＭＦＵのＩＤはsubsample_start_idとsubsample_end_idを使用して指示する。subsample_start_idとsubsample_end_idが指示する値は、ＭＦＵのmfu_id値である。ＭＰＵでtrun Boxを使用する時にはtf_flagsの値のうち0x2000は常に使用されることが望ましい。
したがって、trun Boxは下記の＜表２３＞のように拡張されることが提案される:
Figure 2015527788
上記＜表２３＞は拡張されたtrun Boxを示す。＜表２３＞でtrunやtfhdで表現していないＭＰＵの情報には、asset_id、ＭＰＵ_sequence_number、parameter_setなどがある。
asset_id、ＭＰＵ_sequence_numberはＭＭＴの構成要素としてＭＰＵが動作するようにするための情報であるため、ＭＰＵ_Boxを新しく定義して含めることが望ましい。
またパラメータセットの情報は、多様なコーデックによってその表現方式が異なるため、拡張性を有するようにするためにタイプによってそのデータの内容や形式が変わることができるようにDecoder Configuration Initialization Informationを定義して下記の＜表２４＞のように示すようにする:
Figure 2015527788
上記＜表２４＞はDecoder Configuration Initialization Informationを示す。したがって、ＭＰＵは図１１のような構造を有する:
図１１は、本発明の第１０の実施形態によるＭＰＵ_Boxとmfu_Boxの構造を示す。
図１１のＭＰＵ_Boxの実際syntaxは下記の＜表２５＞のようである。
Figure 2015527788
上記＜表２５＞は、ＭＭＴProcessingBoxを示す。＜表２５＞でasset_idは、該当ＭＰＵが属するアセットのＩＤを指示する。ＭＰＵ_sequence_numberはアセット内の以前ＭＰＵから１増加した値が該当ＭＰＵのシーケンス番号となる。 DecoderConfigurationInitializationInformation、TrackFragmentHeaderBox、TrackRunBoxは上記で説明した通りである。
図１２は、本発明の実施形態によって適応的メディア構造を生成して伝送する送信装置の構成を示すブロック図である。
図１２で送信装置１２００は、入力部１２１０、保存部１２２０、伝送部１２３０及び制御部１２４０を含む。また、送信装置１２００は、本発明の実施形態によって図２乃至図１１で説明したＭＰＵ構造、伝送パケットと受信パケットの構造、論理的アセット構造、クローズドＧＯＰにおけるプレゼンテーション情報提供方法及びデコーディング順序情報提供方法、オープンＧＯＰにおけるプレゼンテーション情報提供方法及びデコーディング順序情報提供方法、ＭＰＵボックスの構造、ＭＰＵ_Boxとmfu_Box構造を含む適応的メディア構造をサポートする。このような送信装置１２００は、上記適応的メディア構造によって伝送単位を決定し、上記決定された伝送単位によって少なくとも一つのマルチメディアソースをＭＰＵ、ＭＦＵ、アセットまたはパッケージの伝送単位で構成して伝送する。
図１２で、入力部１２１０は、複合メディアコンテンツを生成するためのマルチメディアソースとして多様な種類のマルチメディアデータを受信する。保存部１２２０は本発明で提案されたＭＰＵ、ＭＦＵ、アセットの構成方法によって生成されたアセットを保存する。伝送部１２３０は所定の通信網を通して上記アセットを伝送する。制御部１２４０は、少なくとも一つのマルチメディアデータ(ソース)を適応的メディア構造で生成するために、本発明で提案するＭＦＵ、ＭＰＵそしてアセットの生成と伝送のための全般的な制御を実行する。
図１３は、本発明の実施形態によってメディアコンテンツを受信する受信装置の構成を示すブロック図である。
図１３で受信装置１３００は、受信部５０１、マルチメディアソース読込み部５０３、マルチメディアソース保存部５０５、表示部５０７及び制御部５０９を含む。
また、図１３における受信装置は、図２乃至図１１で説明した適応的メディア構造をサポートし、このような適応的メディア構造の伝送単位で受信されたメディアコンテンツの復号を実行する。
図１３で受信部１３１０は、多様なマルチメディアデータ(ソース)によるＭＰＵとＭＦＵを含むアセットを所定の通信網を通して受信し、アセットに含まれた各種情報(適応的メディア構造に関連する情報）は制御部１３４０に伝えられて複合メディアコンテンツの受信制御と復号に利用される。
また、制御部１３４０は、上記ＭＦＵに対する情報と上記ＭＰＵに対する情報を利用して複合メディアコンテンツの受信及び復号と関連した全般的な制御を実行する。
また、制御部１３４０は、マルチメディアソースのデータタイプを読み込み、読み込まれた各マルチメディアソースをマルチメディア保存部１３２０に区分して保存する。また、制御部１３４０は、アセットの受信とマルチメディアソースの読込み及び復号のための全般的な制御を実行し、復号されたマルチメディアソースのデータは表示部１３３０を通して出力される。
一方、本発明の詳細な説明では具体的な実施形態に関して説明したが、本発明の範囲を逸脱しない範囲で多様な変形が可能であることは明らかである。したがって、本発明の範囲は説明された実施形態に限定されず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものにより定義されなければならない。
１２００ 送信装置
１２１０ 入力部
１２２０ 保存部
１２３０ 伝送部
１２４０ 制御部
１３００ 受信装置
１３１０ 受信部
１３２０ 保存部
１３３０ 表示部
１３４０ 制御部

Claims (16)

  1. マルチメディアシステムにおける適応的メディア構造を送信する方法であって、
    アクセスユニット（ＡＵ）を構成するメディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット（ＭＰＵ)を一つのアセットで構成するステップと、
    前記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信するステップとを含み、
    前記ＭＦＵは、ＡＵタイプであるかスライスタイプであるかを示すタイプ情報を含むように構成されることを特徴とする送信方法。
  2. 前記ＭＦＵを構成するステップは、
    前記ＭＦＵがＡＵタイプである場合、前記ＡＵ内における前記ＭＦＵの優先順位を示す優先順位情報と、前記ＭＦＵと他のＭＦＵとの間の従属関係を示す従属カウント情報とを含まないように構成することを特徴とする請求項１に記載の送信方法。
  3. 前記ＭＦＵを構成するステップは、
    前記ＭＦＵがＡＵタイプではない場合、前記ＭＦＵの構成情報に前記ＡＵ内における前記ＭＦＵの優先順位を示す優先順位情報と、前記ＭＦＵと他のＭＦＵとの間の従属関係を示す従属カウント情報とを含むように構成することを特徴とする請求項１に記載の送信方法。
  4. 前記ＭＦＵがＡＵタイプではない場合、前記タイプ情報は前記ＡＵ内で位置する前記ＭＦＵの位置情報を含むことを特徴とする請求項１に記載の送信方法。
  5. マルチメディアシステムにおける適応的メディア構造を送信する方法であって、
    アクセスユニット（ＡＵ）を構成するメディアフラグメントユニット（ＭＦＵ）と前記ＭＦＵの個数情報を含むメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成するステップと、
    前記構成されたアセットをコンポジション情報（ＣＩ)に含めて送信するステップとを含むことを特徴とする送信方法。
  6. 前記ＭＰＵは、
    前記ＭＦＵのそれぞれの識別情報を含むことを特徴とする請求項５に記載の送信方法。
  7. 前記ＭＦＵは、
    前記ＭＦＵの境界を感知するスタートコード情報と有効性を検証するエラー検出コード情報(ＥＤＣ)を含むことを特徴とする請求項５に記載の送信方法。
  8. 前記ＭＰＵは、
    前記アセットの識別情報及び前記ＭＰＵのシーケンス番号のうち少なくとも一つを含むことを特徴とする請求項５に記載の送信方法。
  9. 前記ＭＰＵは、
    前記ＭＰＵを構成するメディアデータが時間属性を含むかそれとも非時間属性を含むかを示す属性情報を含むことを特徴とする請求項５に記載の送信方法。
  10. 前記ＭＰＵは、
    前記ＡＵのプレゼンテーション時間情報及びデコーディング時間情報のうち少なくとも一つを含むことを特徴とする請求項５に記載の送信方法。
  11. 前記ＭＰＵは、
    デコーダ設定情報を含むことを特徴とする請求項５に記載の送信方法。
  12. 前記デコーダ設定情報は、
    シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）のうち少なくとも一つを含むことを特徴とする請求項１１に記載の送信方法。
  13. マルチメディアシステムにおける適応的メディア構造を送信する装置であって、
    メディアフラグメントユニット（ＭＦＵ）とメディアプロセッシングユニット（ＭＰＵ）を一つのアセットで構成する制御部と、
    前記制御部に制御によって前記構成されたアセットをコンポジション情報（ＣＩ）に含めて送信する伝送部と、を含み、
    前記制御部は、
    前記ＭＦＵがＡＵタイプであるかスライスタイプであるかを示すタイプ情報を含むように構成することを特徴とする送信装置。
  14. 前記制御部は、
    前記ＭＦＵがＡＵタイプである場合、前記ＡＵ内における前記ＭＦＵの優先順位を示す優先順位情報と、前記ＭＦＵと他のＭＦＵとの間の従属関係を示す従属カウント情報とを含まないように構成することを特徴とする請求項１３に記載の送信装置。
  15. 前記制御部は、
    前記ＭＦＵがＡＵタイプではない場合、前記ＭＦＵの構成情報に前記ＡＵ内における前記ＭＦＵの優先順位を示す優先順位情報と、前記ＭＦＵと他のＭＦＵとの間の従属関係を示す従属カウント情報とを含むように構成することを特徴とする請求項１３に記載の送信装置。
  16. 請求項５乃至請求項１２のうちいずれか一つの方法を遂行するように適用されることを特徴とする装置。
JP2015520049A 2012-06-29 2013-07-01 マルチメディアシステムにおける適応的メディア構造送信方法及び装置 Pending JP2015527788A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20120071168 2012-06-29
KR10-2012-0071168 2012-06-29
KR1020120086373A KR20140002447A (ko) 2012-06-29 2012-08-07 멀티미디어 시스템에서 적응적 미디어 구조 송수신 방법 및 장치
KR10-2012-0086373 2012-08-07
PCT/KR2013/005821 WO2014003515A1 (ko) 2012-06-29 2013-07-01 멀티미디어 시스템에서 적응적 미디어 구조 송신 방법 및 장치

Publications (1)

Publication Number Publication Date
JP2015527788A true JP2015527788A (ja) 2015-09-17

Family

ID=50139515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015520049A Pending JP2015527788A (ja) 2012-06-29 2013-07-01 マルチメディアシステムにおける適応的メディア構造送信方法及び装置

Country Status (6)

Country Link
US (1) US20140007172A1 (ja)
EP (1) EP2869569A4 (ja)
JP (1) JP2015527788A (ja)
KR (1) KR20140002447A (ja)
CN (1) CN104380754A (ja)
WO (1) WO2014003515A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019506098A (ja) * 2016-02-17 2019-02-28 サムスン エレクトロニクス カンパニー リミテッド マルチメディアサービスのコンテンツ関連情報提供方法及び装置

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2652091C2 (ru) * 2013-06-21 2018-04-25 Сони Корпорейшн Устройство и способ передачи, устройство воспроизведения, способ воспроизведения и устройство приема
JP6498882B2 (ja) * 2013-07-22 2019-04-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 蓄積方法、再生方法、蓄積装置、および再生装置
US20150032845A1 (en) * 2013-07-26 2015-01-29 Samsung Electronics Co., Ltd. Packet transmission protocol supporting downloading and streaming
GB2519746B (en) * 2013-10-22 2016-12-14 Canon Kk Method, device and computer program for encapsulating scalable partitioned timed media data
KR102105656B1 (ko) * 2014-01-09 2020-04-28 한국전자통신연구원 Mmt 서비스의 패킷 재전송 방법 및 장치, 재전송 요청 방법 및 장치
WO2015105311A1 (ko) * 2014-01-09 2015-07-16 한국전자통신연구원 Mmt 서비스의 패킷 재전송 방법 및 장치, 재전송 요청 방법 및 장치
KR102138075B1 (ko) 2014-01-09 2020-07-27 삼성전자주식회사 미디어 데이터를 전송하기 위한 가변 크기 데이터 패킷을 송수신하는 방법 및 장치
JP6478153B2 (ja) * 2014-02-27 2019-03-06 日本放送協会 データ送出システム、受信装置、およびプログラム
JP5725235B1 (ja) * 2014-04-22 2015-05-27 ソニー株式会社 受信装置及び受信方法、並びに、送信装置及び送信方法
KR102196492B1 (ko) * 2014-07-04 2020-12-30 삼성전자주식회사 통신 시스템에서 데이터 송수신 장치 및 방법
JP6681580B2 (ja) * 2014-08-04 2020-04-15 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
JP6729379B2 (ja) * 2015-07-01 2020-07-22 ソニー株式会社 送信装置及び送信方法、並びに受信装置及び受信方法
KR102454746B1 (ko) * 2015-10-01 2022-10-17 삼성전자주식회사 통신 시스템에서 미디어 리소스 식별 정보를 송수신하는 장치 및 방법
CN108141636B (zh) * 2015-10-07 2021-03-23 松下知识产权经营株式会社 接收装置以及接收方法
KR101883554B1 (ko) * 2016-08-16 2018-07-30 서울여자대학교 산학협력단 Mmt-기반 방송을 위한 시그널 메시지 송출 스케줄링 방법
KR102519390B1 (ko) * 2016-11-10 2023-04-06 에스케이텔레콤 주식회사 캐시 장치, 상기 캐시 장치에서의 mmt 컨텐츠 전송 방법
CN112040302B (zh) 2019-06-03 2023-01-03 优视科技有限公司 视频缓冲方法、装置、电子设备及计算机可读存储介质
CN114640711B (zh) * 2020-12-15 2023-08-01 深圳Tcl新技术有限公司 一种tlv数据包的推送方法、智能终端及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1190081C (zh) * 1997-03-17 2005-02-16 松下电器产业株式会社 发送和接收动态图像数据的方法及其设备
US6211869B1 (en) * 1997-04-04 2001-04-03 Avid Technology, Inc. Simultaneous storage and network transmission of multimedia data with video host that requests stored data according to response time from a server
US6134243A (en) * 1998-01-15 2000-10-17 Apple Computer, Inc. Method and apparatus for media data transmission
US7200388B2 (en) * 2002-05-31 2007-04-03 Nokia Corporation Fragmented delivery of multimedia
EP1520431B1 (en) * 2002-07-01 2018-12-26 E G Technology Inc. Efficient compression and transport of video over a network
US7161909B2 (en) * 2004-04-23 2007-01-09 Samsung Electronics Co., Ltd. Method and system for acknowledging the receipt of a transmitted data stream in a wireless communication system
EP1993284B1 (en) * 2004-06-02 2013-07-03 Panasonic Corporation Picture coding apparatus and picture decoding apparatus
KR20050120491A (ko) * 2004-06-19 2005-12-22 삼성전자주식회사 멀티미디어 방송 시스템에서의 전송 에러 처리방법 및장치
EP1842369B1 (en) * 2005-01-12 2020-04-08 Invidi Technologies Corporation Targeted impression model for broadcast network asset delivery
EP1694031A1 (en) * 2005-02-18 2006-08-23 Thomson Licensing S.A. Method for performing data transport over a serial bus using internet protocol and apparatus for use in the method
US20070022215A1 (en) * 2005-07-19 2007-01-25 Singer David W Method and apparatus for media data transmission
US8788933B2 (en) * 2005-12-01 2014-07-22 Nokia Corporation Time-shifted presentation of media streams
JP2009177447A (ja) * 2008-01-24 2009-08-06 Panasonic Corp 動画像送受信システム
EP2114076B1 (en) * 2008-04-21 2013-09-11 Samsung Electronics Co., Ltd. Apparatus and method for composing scenes using rich media contents
EP2392138A4 (en) * 2009-01-28 2012-08-29 Nokia Corp METHOD AND APPARATUS FOR VIDEO ENCODING AND DECODING
US8392748B2 (en) * 2009-10-06 2013-03-05 Microsoft Corporation Reliable media streaming
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
CN102860021B (zh) * 2010-04-20 2017-06-20 三星电子株式会社 用于传送和接收媒体数据的接口装置和方法
US9319448B2 (en) * 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
KR20120138604A (ko) * 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
ES2860323T3 (es) * 2012-10-11 2021-10-04 Samsung Electronics Co Ltd Aparato y procedimiento para suministrar y recibir datos multimedia en red híbrida

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三木弼一編著, 「ＭＰＥＧ−４のすべて」, vol. 初版, JPN6017027750, 30 September 1998 (1998-09-30), JP, pages 第１７８〜１８０頁 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019506098A (ja) * 2016-02-17 2019-02-28 サムスン エレクトロニクス カンパニー リミテッド マルチメディアサービスのコンテンツ関連情報提供方法及び装置
US10992976B2 (en) 2016-02-17 2021-04-27 Samsung Electronics Co., Ltd. Method and device for providing content-related information of multimedia service

Also Published As

Publication number Publication date
EP2869569A1 (en) 2015-05-06
WO2014003515A1 (ko) 2014-01-03
US20140007172A1 (en) 2014-01-02
KR20140002447A (ko) 2014-01-08
CN104380754A (zh) 2015-02-25
EP2869569A4 (en) 2016-06-29

Similar Documents

Publication Publication Date Title
JP2015527788A (ja) マルチメディアシステムにおける適応的メディア構造送信方法及び装置
KR101973544B1 (ko) 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
JP6839257B2 (ja) 送信方法、受信方法、送信装置および受信装置
JP6571314B2 (ja) 送信方法
KR102252484B1 (ko) 복합 네트워크에서 멀티미디어 데이터를 송수신하기 위한 장치 및 그 방법
JP2015530784A (ja) ネットワークストリーミングのための失われたメディアデータの置換
GB2593897A (en) Method, device, and computer program for improving random picture access in video streaming

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170731

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180312